Hardware

Applications de surveillance de la charge du GPU :
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia est sur le point de lancer le NVIDIA DGX Spark – un petit superordinateur d’IA basé sur l’architecture Blackwell, doté d’une mémoire unifiée de 128+Go et d’une performance d’IA de 1 PFLOPS. Un appareil intéressant pour exécuter les LLM.

Commençons par comparer les prix des meilleures cartes graphiques grand public, adaptées en particulier aux LLM et à l’IA en général. Examinons plus précisément les prix de la RTX 5080 et de la RTX 5090. Ils ont légèrement baissé.

Il y a à peine trois mois, on ne trouvait pas la RTX 5090 en magasin, et maintenant, elle est disponible, mais les prix sont légèrement plus élevés que le MRSP.

Commençons par comparer les meilleurs prix pour la RTX 5080 et la RTX 5090 en Australie et voyons comment les choses évoluent.

Système automatisé de pointe pour une tâche incroyable.

Comment les voies PCIe affectent les performances des LLM ? Selon la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.

J’ai été fortement touché par ce problème. Mais vous devriez investiguer et tester votre PC si votre écran bleu (BSOD) est similaire au mien.
La cause était le problème de dégradation du processeur d’Intel dans les générations 13e et 14e.

J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLMs ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne s’adapte pas dans les 16 Go de VRAM de ma carte graphique, et qu’il s’exécute partiellement sur le CPU.

Dans le chaos du monde moderne ici, je compare les spécifications techniques de différentes cartes adaptées aux tâches IA
(Deep Learning,
Détection d’objets
et LLMs).
Elles sont toutes extrêmement coûteuses toutefois.

Lorsque le serveur Ollama reçoit deux demandes en même temps, son comportement dépend de sa configuration et des ressources système disponibles.

L’installation de l’ET-8500 sous Windows est bien documentée dans les instructions. L’installation du pilote Linux ET-8500 est simple mais pas triviale.

Comparaison de la vitesse de prédiction de plusieurs versions de LLM (modèles de langage grand public) : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.