Self-Hosting

Voici une comparaison entre Qwen3:30b et GPT-OSS:20b
axée sur le suivi des instructions et les performances, les spécifications et la vitesse.

Voici un aperçu rapide de Write.as / WriteFreely – comment il s’intègre au fediverse, où trouver un hébergement géré, à quoi ressemble l’évolution d’utilisation, et comment l’héberger soi-même (avec des estimations de coûts approximatives).

Dans cet article, nous allons explorer deux façons de connecter votre application Python à Ollama : 1. Via HTTP REST API ; 2. Via la bibliothèque Python officielle d’Ollama.

Proxmox Virtual Environment (Proxmox VE) est un hyperviseur de type 1 et une plateforme d’orchestration de centre de données open source, construite sur Debian.

Comparons les prix des GPU grand public haut de gamme, particulièrement adaptés aux LLM et à l’IA en général. Plus précisément, je me penche sur les prix des RTX-5080 et RTX-5090. Ils ont légèrement baissé.

Les modèles GPT-OSS d’Ollama présentent régulièrement des problèmes pour gérer les sorties structurées, surtout lorsqu’ils sont utilisés avec des cadres comme LangChain, OpenAI SDK, vllm et d’autres.

Les grands modèles de langage (LLMs) sont puissants, mais en production, nous souhaitons rarement des paragraphes libres. Au contraire, nous voulons des données prévisibles : des attributs, des faits ou des objets structurés que vous pouvez alimenter dans une application. C’est la sortie structurée des LLM.

Pour les fans de KDE Plasma, deux distributions Linux sont souvent évoquées : Kubuntu et KDE Neon. Elles peuvent sembler similaires : toutes deux livrent KDE Plasma comme bureau par défaut, toutes deux sont basées sur Ubuntu et toutes deux sont accueillantes pour les nouveaux venus.

Ici, je compare la quantité de VRAM allouée par la nouvelle version d’Ollama au modèle par rapport à la version précédente d’Ollama. La nouvelle version est pire.

Ce guide vous guidera à travers le processus de modification de l’adresse IP statique sur un serveur Ubuntu.

Ollama est rapidement devenu l’un des outils les plus populaires pour exécuter des LLM localement. Son interface CLI simple et sa gestion des modèles optimisée l’ont rendu l’option de prédilection pour les développeurs souhaitant travailler avec des modèles d’IA en dehors du cloud.

Mumble est une application de communication vocale par Internet (VoIP) gratuite et open source, principalement conçue pour la communication vocale en temps réel. Elle utilise une architecture client-serveur où les utilisateurs se connectent à un serveur partagé pour s’entretenir entre eux.

Localement hébergé, Ollama permet d’exécuter des modèles de langage sur votre propre machine, mais son utilisation via la ligne de commande n’est pas très conviviale.
Voici plusieurs projets open source qui proposent des interfaces du style ChatGPT qui se connectent à un Ollama local.

Applications de surveillance de la charge du GPU :
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Voici un walkthrough étape par étape de
l’installation d’un cluster K3s à 3 nœuds
sur des serveurs physiques (1 maître + 2 travailleurs).

Comparaison des distributions de self-hosting Kubernetes pour l’hébergement sur serveurs physiques ou serveurs domestiques, en se concentrant sur la facilité d’installation, les performances, les exigences système et les ensembles de fonctionnalités.