Installez TGI, déployez rapidement, déboguez encore plus vite.
Text Generation Inference (TGI) possède une énergie très particulière. Ce n’est pas le nouveau venu de la rue de l’inférence, mais c’est celui qui a déjà appris comment la production peut se briser -
Vitesse de génération des jetons de llama.cpp sur 16 Go de VRAM (tableaux).
Ici, je compare la vitesse de plusieurs LLMs exécutés sur GPU avec 16 Go de VRAM, et je choisis le meilleur pour l’auto-hébergement.
Serveur Ollama axé sur la composition, avec GPU et persistance.
Ollama fonctionne très bien sur du matériel nu. Cela devient encore plus intéressant lorsque vous la traitez comme un service : un point de terminaison stable, des versions épinglées, un stockage persistant et une carte graphique (GPU) qui est soit disponible, soit ne l’est pas.
HTTPS Ollama sans interrompre les réponses en flux.
Exécuter Ollama derrière un proxy inversé est le moyen le plus simple d’obtenir HTTPS, un contrôle d’accès facultatif et un comportement de streaming prévisible.
Faites fonctionner rapidement les modèles ouverts avec SGLang.
SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.
Échange à chaud des LLM locaux sans modifier les clients.
Vous voilà bientôt à jongler avec vLLM, llama.cpp et d’autres composants — chaque pile sur son propre port. Tout en aval exige toujours une URL de base /v1 unique ; sinon, vous continuez à jongler avec des ports, des profils et des scripts spécifiques. llama-swap est le proxy /v1 situé devant ces piles.
La plupart des configurations locales d’IA commencent par un modèle et un runtime.
Que se passe-t-il réellement lorsque vous lancez Ultrawork.
Oh My Opencode promet une « équipe de développement IA virtuelle » : Sisyphus orchestre des spécialistes, les tâches s’exécutent en parallèle et le mot magique ultrawork active tout cela.
Faites la connaissance de Sisyphus et de son équipe d'agents spécialisés.
Le saut de capacité le plus important dans OpenCode provient des agents spécialisés : séparation délibérée de l’orchestration, de la planification, de l’exécution et de la recherche.
Installez Oh My Opencode et publiez plus rapidement.
Oh My Opencode transforme OpenCode en un harnais de codage multi-agents : un orchestrateur délègue le travail à des agents spécialisés qui s’exécutent en parallèle.
Test LLM OpenCode — statistiques de codage et de précision
J’ai testé comment OpenCode fonctionne avec plusieurs LLM hébergés localement sur Ollama et llama.cpp, et j’ai ajouté pour comparaison quelques modèles gratuits provenant d’OpenCode Zen.
Démarrage rapide d'OpenHands CLI en quelques minutes
OpenHands est une plateforme open-source et agnostique des modèles pour les agents de développement logiciel pilotés par l’IA. Il permet à un agent de se comporter davantage comme un partenaire de codage que comme un simple outil de complétion automatique.
Hébergez des APIs compatibles avec OpenAI en local avec LocalAI en quelques minutes.
LocalAI est un serveur d’inférence auto-hébergé, conçu en priorité pour une utilisation locale, qui se comporte comme une API OpenAI de remplacement pour exécuter des charges de travail d’IA sur votre propre matériel (ordinateur portable, station de travail ou serveur sur site).
Exécuter des modèles GGUF avec l’interface en ligne de commande et le serveur
llama.cpp est un moteur d’inférence C/C++ pour les modèles GGUF : llama-cli pour le chat interactif, llama-completion pour les invites scriptées, et llama-server pour une API HTTP compatible OpenAI.
L’intelligence artificielle redéfinit la manière dont le logiciel est écrit, relu, déployé et maintenu. Des assistants de codage par IA à l’automatisation GitOps et aux workflows DevOps, les développeurs s’appuient désormais sur des outils propulsés par l’IA tout au long du cycle de vie du logiciel.
Airtable - Limites du plan gratuit, API, webhooks, Go et Python.
Airtable est mieux pensé comme une plateforme d’application à faible code construite autour d’une interface collaborative “ressemblant à une feuille de calcul” - idéale pour créer rapidement des outils opérationnels (suivi interne, CRM léger, pipelines de contenu, files d’attente d’évaluation d’IA) où les non-développeurs ont besoin d’une interface amicale, mais les développeurs ont aussi besoin d’une surface API pour l’automatisation et l’intégration.
