Exécuter un service de style Copilot en local ? C'est facile !
C’est très excitant ! Au lieu d’appeler Copilot ou Perplexity.ai et de révéler à tout le monde ce que vous recherchez, vous pouvez désormais héberger un service similaire sur votre propre PC ou ordinateur portable !
« Il n’y en a pas tant à choisir, mais quand même… »
Lorsque j’ai commencé à expérimenter avec les LLM, leurs interfaces utilisateur étaient en plein développement et aujourd’hui, certaines d’entre elles sont vraiment excellentes.
Test de détection des fautes de raisonnement
Récemment, nous avons vu plusieurs nouveaux LLM sortir. Des temps excitants. Testons-les et voyons comment ils se débrouillent lorsqu’ils détectent les fautes logiques.
Exige quelques expérimentations mais
Il existe toutefois quelques approches courantes pour rédiger des prompts efficaces afin que le modèle de langage ne se confonde pas en tentant de comprendre ce que vous souhaitez.
« 8 versions de llama3 (Meta+) et 5 versions de phi3 (Microsoft) »
Testons comment les modèles avec différents nombres de paramètres et de quantification se comportent.
Les fichiers de modèles LLM d'Ollama prennent beaucoup d'espace.
Après l’installation d’Ollama, il est préférable de reconfigurer Ollama pour les stocker immédiatement dans le nouvel emplacement. Ainsi, lorsqu’un nouveau modèle est téléchargé, il ne sera pas enregistré dans l’ancien emplacement.
