Choisir le bon LLM pour Cognee : configuration locale d'Ollama

Choisir le meilleur LLM pour Cognee exige de trouver un équilibre entre la qualité de construction des graphes, les taux de hallucination et les contraintes matérielles. Cognee excelle avec des modèles plus grands et peu hallucinants (32B+) via Ollama mais des options de taille moyenne conviennent pour des configurations plus légères.

Pour une comparaison plus large entre Ollama et vLLM, Docker Model Runner, LocalAI et les fournisseurs de cloud, y compris les compromis en matière de coût et d’infrastructure, consultez LLM Hosting : Local, Self-Hosted & Cloud Infrastructure Compared.

Exigences clés de Cognee

Cognee dépend du LLM pour l’extraction d’entités, l’inférence de relations et la génération de métadonnées. Les modèles inférieurs à 32B produisent souvent des graphes bruyants, tandis qu’une forte taux de hallucination (par exemple, 90 %+) pollue les nœuds/les arêtes, réduisant la récupération. Les documents officiels recommandent deepseek-r1:32b ou llama3.3-70b-instruct-q3_K_M associés aux embeddings de Mistral.

Tableau de comparaison des modèles

Les données sont synthétisées à partir des documents Cognee, des fiches modèles et des benchmarks. Les données sur le niveau de hallucination, même si elles semblent déroutantes, pourraient être assez proches de la réalité…

Recommandations par matériel

• Haute gamme (VRAM 32 GB+) : Deepseek-r1:32b ou Llama3.3-70b. Ces modèles produisent les graphes les plus propres selon les recommandations de Cognee.
• Gamme moyenne (VRAM 16-24 GB) : Devstral Small 2. Une faible hallucination et une expertise en codage conviennent aux tâches de mémoire structurée.
• Budget (VRAM 12-16 GB) : Qwen3:14b plutôt que gpt-oss:20b - éviter les pièges de hallucination à 91 %.
• Penser à éviter gpt-oss:20b pour Cognee ; il y a des notes indiquant que ses erreurs s’aggravent lors de la construction non filtrée des graphes. Mais la vitesse d’inférence sur mon GPU est 2 fois plus rapide…

Configuration rapide Ollama + Cognee

# 1. Télécharger le modèle (par exemple, Devstral)
ollama pull devstral-small-2:24b  # ou qwen3:14b, etc.

# 2. Installer Cognee
pip install "cognee[ollama]"

# 3. Variables d'environnement
export LLM_PROVIDER="ollama"
export LLM_MODEL="devstral-small-2:24b"
export EMBEDDING_PROVIDER="ollama"
export EMBEDDING_MODEL="nomic-embed-text"  # 768 dimensions
export EMBEDDING_DIMENSIONS=768

# 4. Tester le graphe
cognee-cli add your_data_file.txt --dataset-name "test_graph"

Assurez-vous que les dimensions d’embedding (par exemple, 768, 1024) correspondent à la configuration et au magasin vectoriel. Embeddings Qwen3 (non testés dans Cognee) pourraient fonctionner avec 1024-4096 dimensions si Ollama le prend en charge.

Priorisez les modèles à faible hallucination pour les pipelines de production Cognee — vos graphes vous remercieront. Testez sur votre matériel et surveillez la cohérence des graphes. Pour voir comment Ollama s’intègre avec d’autres options locales et en cloud de LLM, consultez notre guide LLM Hosting : Local, Self-Hosted & Cloud Infrastructure Compared.

Modèles d’embedding

Je n’ai pas beaucoup réfléchi à ce point, mais voici un tableau que j’ai rassemblé, pour référence future

Liens utiles

• https://docs.cognee.ai/how_to_guides/local_models
• https://docs.cognee.ai/setup-configuration/embedding-providers
• https://arxiv.org/html/2508.10925v1
• https://github.com/vectara/hallucination-leaderboard
• https://ollama.com/library/nomic-embed-text-v2-moe
• Embedding Qwen3
• Configurer le dossier des modèles Ollama
• Feuille de triche Ollama