Frontends des LLM

Quand j’ai commencé à expérimenter avec les LLM, les interfaces utilisateur pour eux étaient en développement actif, et maintenant certaines d’entre elles sont vraiment excellentes.

!- Jan - interface utilisateur multiplateforme pour LLMs(jan-site_w678.jpg Jan - Interface utilisateur pour LLMs - install)

Jan

• Jan(https://jan.ai/) est disponible pour Windows, Linux et Mac.

Possède des thèmes sombres, clairs et transparents.

!- Jan LLM frontend - fenêtre principale(jan-self_w678.jpg Jan - Interface utilisateur pour LLMs - exemple de réponse à pourquoi auto-héberger)

Peut se connecter à plusieurs backends existants comme Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI, etc., et héberger des modèles sur son propre serveur - voir la section Cortex sur l’écran ci-dessous - montrant Jan téléchargé et hébergé localement Llama3 8b q4 et Phi3 medium (q4).

!- Jan LLM frontend - options de configuration(jan-config_w678.jpg Jan LLM frontend - options de configuration)

Avantages (ce que j’ai aimé) :

• Interface intuitive
• Possibilité d’expérimenter avec la température du modèle, le topp, la fréquence et les pénalités de présence ainsi que les prompts système.
• Fournit un serveur API

Inconvénients :

• Quelque part lent sur mon système d’exploitation basé sur Ubuntu. Sur Windows, il a fonctionné correctement.
• Peut se connecter à plusieurs backends, mais tous sont gérés. Il serait agréable d’avoir l’option Ollama.
• Peu de variantes des modèles disponibles pour l’hébergement local dans Cortex. Peu d’options de quantification également.
• Oui, Huggingface gguf est incroyable. Mais j’aurais aimé
  • réutiliser ce que Ollama a déjà téléchargé et chargé en VRAM
  • ne pas héberger le même modèle partout

KoboldAI

KoboldAI

Un très célèbre outil

Silly Tavern

Silly Tavern

Un autre très versatile

LLM Studio

LLM Studio n’est pas mon interface utilisateur préférée pour les LLM, mais elle offre un meilleur accès aux modèles Huggingface.

Ollama en ligne de commande

Oui, c’est aussi une interface utilisateur, juste une interface en ligne de commande.

Pour exécuter le LLM llama3.1 :

ollama run llama3.1

quand vous avez terminé, envoyez la commande pour quitter l’interface en ligne de commande d’Ollama :

/bye

cURL Ollama

Installez cUrl si vous ne l’avez pas encore fait

sudo apt-get install curl

Pour appeler localement le mistral nemo q8 llm hébergé sur Ollama - créez un fichier local avec le prompt p.json :

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Qu'est-ce que le post-modernisme ?,
  stream: false
}

et maintenant exécutez dans le terminal bash

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

le résultat sera dans le fichier p-result.json

si vous souhaitez simplement imprimer le résultat :

curl -X POST http://localhost:11434/api/generate -d @p.json

Aussi :

Je n’ai pas testé ceux-ci, mais il s’agit d’une liste assez complète d’interfaces utilisateur pour les LLM :

• Streamlit
• Gradio
• Lobe Chat
• Text Generation WebUI
• Ollama WebUI
• Hugging Face Chat UI
• GPT-4All
• LocalGPT
• ChainFury
• Verba par Weaviate
• Chat UI Kit pour React par ChatScope
• Reflex Chat
• Silly Tavern
• Amica
• Serge Chat
• LLM Multitool
• Sanctum AI
• KoboldAI
• AI Messenger
• Exui
• Spellbook Docker
• Lollms WebUI
• H2O GPT

Liens utiles

• Modèles Qwen3 d’embedding et de reranking sur Ollama : performance d’avant-garde
• Test : Comment Ollama utilise les performances du processeur Intel et les cœurs efficaces
• Comment Ollama gère les requêtes parallèles
• Test de Deepseek-r1 sur Ollama
• Installer et configurer Ollama
• Comparaison des capacités de résumé des LLM
• Comparaison de la vitesse des différents LLM
• Auto-hébergement de Perplexica avec Ollama
• Comparaison des LLM : Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 et Phi
• Feuille de triche Ollama
• Feuille de triche Markdown
• Fournisseurs de LLM en nuage