LLM

Je reviens constamment vers llama.cpp pour l’inférence locale — cela vous donne un contrôle que Ollama et d’autres abstraigent, et cela fonctionne parfaitement. Il est facile d’exécuter des modèles GGUF de manière interactive avec llama-cli ou d’exposer une API HTTP compatible avec OpenAI avec llama-server.

OpenCode est un agent d’IA open source que vous pouvez exécuter en terminal (TUI + CLI) avec des surfaces de bureau et d’IDE optionnels. Voici le guide de démarrage rapide OpenCode : installez, vérifiez, connectez un modèle/fournisseur, et exécutez des workflows réels (CLI + API).

L’inference LLM semble être « juste une autre API » — jusqu’à ce que les latences augmentent, les files d’attente se remplissent à nouveau, et que vos GPU atteignent 95 % de mémoire sans explication évidente.

La plupart des configurations d’IA locales commencent de la même manière : un modèle, un runtime et une interface de chat.

OpenClaw est un assistant IA auto-hébergé conçu pour fonctionner avec des runtimes locaux de LLM comme Ollama ou avec des modèles basés en nuage tels que Claude Sonnet.

Temporal est un moteur de workflow open source, à usage entreprise, qui permet aux développeurs de créer des applications de workflow durables, évolutives et tolérantes aux pannes en utilisant des langages de programmation familiers comme Go.

Les systèmes LLM échouent de manière que le suivi classique des API ne peut pas révéler — les files d’attente se remplissent silencieusement, la mémoire GPU atteint sa capacité bien avant que le CPU ne semble chargé, et la latence explose au niveau du regroupement plutôt qu’au niveau de l’application. Ce guide couvre une stratégie complète d’observabilité pour l’inférence LLM et les applications LLM : ce qu’il faut mesurer, comment l’instrumenter avec Prometheus, OpenTelemetry et Grafana, et comment déployer le pipeline de télémétrie à grande échelle.

Chunking est le hyperparamètre le plus sous-estimé dans le génération augmentée par recherche (RAG) : il détermine silencieusement ce que votre LLM “voit”, combien coûte l’ingestion, et combien de la fenêtre de contexte de l’LLM vous brûlez par réponse.

Production-focused guide to building RAG systems: chunking, vector stores, hybrid retrieval, reranking, evaluation, and when to choose RAG over fine-tuning.

Observabilité est la base des systèmes de production fiables.

Sans métriques, tableaux de bord et alertes, les clusters Kubernetes dérivent, les charges de travail d’IA échouent en silence et les régressions de latence passent inaperçues jusqu’à ce que les utilisateurs se plaignent.

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.

A performance engineering hub for running LLMs efficiently: runtime behavior, bottlenecks, benchmarks, and the real constraints that shape throughput and latency.

L’hébergement local des LLM permet de garder les données, les modèles et l’inférence sous votre contrôle : une approche pratique pour atteindre la souveraineté en IA pour les équipes, les entreprises et les nations.

Exécuter des modèles de langage volumineux localement vous offre la confidentialité, la capacité hors ligne et un coût API nul. Ce benchmark révèle exactement ce à quoi on peut s’attendre à partir de 14 modèles populaires LLMs sur Ollama sur un RTX 4080.

L’écosystème Python de ce mois est dominé par les Claude Skills et les outils d’agents IA. Cette analyse examine les dépôts Python les plus populaires sur GitHub.

L’écosystème Rust explose avec des projets innovants, en particulier dans les outils de codage en IA et les applications terminales. Ce panorama analyse les dépôts Rust les plus tendance sur GitHub ce mois-ci.