Et pourquoi ai-je été confronté à cet écran bleu de la mort...
J’ai été fortement touché par ce problème. Mais vous devriez investiguer et tester votre PC si votre écran bleu (BSOD) est similaire au mien.
La cause était le problème de dégradation du processeur d’Intel dans les générations 13e et 14e.
Ollama sur processeur Intel : cœurs d'efficacité vs cœurs de performance
J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLMs ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne s’adapte pas dans les 16 Go de VRAM de ma carte graphique, et qu’il s’exécute partiellement sur le CPU.
L'IA nécessite beaucoup de puissance...
Dans le chaos du monde moderne ici, je compare les spécifications techniques de différentes cartes adaptées aux tâches IA
(Deep Learning,
Détection d’objets
et LLMs).
Elles sont toutes extrêmement coûteuses toutefois.
Configurer ollama pour l'exécution de requêtes en parallèle.
Lorsque le serveur Ollama reçoit deux demandes en même temps, son comportement dépend de sa configuration et des ressources système disponibles.
C'est beaucoup plus simple par rapport aux anciens pilotes d'imprimante.
L’installation de l’ET-8500 sous Windows est bien documentée dans les instructions. L’installation du pilote Linux ET-8500 est simple mais pas triviale.
Testons la vitesse des LLM sur GPU par rapport au CPU
Comparaison de la vitesse de prédiction de plusieurs versions de LLM (modèles de langage grand public) : llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) sur CPU et GPU.
