Ollama sur processeur Intel : cœurs d'efficacité vs cœurs de performance
J’ai une théorie à tester - si l’utilisation de tous les cœurs d’un processeur Intel augmenterait la vitesse des LLMs ? Cela me tracasse que le nouveau modèle gemma3 27 bit (gemma3:27b, 17 Go sur ollama) ne s’adapte pas dans les 16 Go de VRAM de ma carte graphique, et qu’il s’exécute partiellement sur le CPU.
Configurer ollama pour l'exécution de requêtes en parallèle.
Lorsque le serveur Ollama reçoit deux demandes en même temps, son comportement dépend de sa configuration et des ressources système disponibles.
Comparaison de deux modèles deepseek-r1 avec deux modèles de base
DeepSeek’s première génération de modèles de raisonnement avec des performances comparables à celles d’OpenAI-o1,
y compris six modèles denses distillés à partir de DeepSeek-R1 basés sur Llama et Qwen.
Compilé cette liste de commandes Ollama il y a un certain temps...
Voici la liste et les exemples des commandes Ollama les plus utiles (fiche de commandes Ollama) que j’ai compilées il y a un certain temps. J’espère qu’elle vous sera également utile.
Prochaine série de tests de LLM
Il y a peu de temps a été publié. Commençons par un point de situation et testons comment Mistral Small se compare aux autres LLM.
Un code Python pour le reranking de RAG
Comparaison de deux moteurs de recherche d'IA auto-hébergés
La bonne nourriture est aussi un plaisir pour les yeux. Mais dans cet article, nous allons comparer deux systèmes de recherche basés sur l’IA, Farfalle et Perplexica.
Exécuter localement un service du style Copilot ? Facile !
C’est très excitant !
Au lieu d’appeler Copilot ou Perplexity.ai et de tout raconter au monde,
vous pouvez maintenant héberger un service similaire sur votre propre ordinateur ou laptop !
Pas tant d'options à choisir, mais tout de même...
Quand j’ai commencé à expérimenter avec les LLM, les interfaces utilisateur pour eux étaient en développement actif, et maintenant certaines d’entre elles sont vraiment excellentes.
Test de détection des fautes de raisonnement
Récemment, nous avons vu plusieurs nouveaux LLM sortir. Des temps excitants. Testons-les et voyons comment ils se débrouillent lors de la détection des fautes logiques.
Exige quelques expérimentations mais
Il existe toutefois quelques approches courantes pour rédiger des prompts efficaces afin que le modèle de langage ne se confonde pas en tentant de comprendre ce que vous souhaitez.
8 versions de llama3 (Meta+) et 5 versions de phi3 (Microsoft) de modèles LLM
Testing comment sur les modèles avec un nombre différent de paramètres et la quantification.
Les fichiers de modèles LLM d'Ollama prennent beaucoup de place.
Après avoir installé ollama, il est préférable de reconfigurer ollama pour qu’il les stocke directement dans le nouveau lieu. Ainsi, après avoir tiré un nouveau modèle, il ne sera pas téléchargé vers l’ancien emplacement.
