Ollama su CPU Intel: efficienza vs prestazioni
Ho un’idea da testare: se l’utilizzo di tutti i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non entra nei 16 GB di VRAM della mia GPU e viene eseguito parzialmente sul CPU.
Configurare ollama per l'esecuzione di richieste parallele.
Quando il server Ollama riceve due richieste contemporaneamente, il suo comportamento dipende dalla sua configurazione e dalle risorse del sistema disponibili.
Confronto tra due modelli deepseek-r1 e due modelli base
DeepSeek’s prima generazione di modelli di ragionamento con prestazioni paragonabili a quelle di OpenAI-o1, inclusi sei modelli densi distillati da DeepSeek-R1 basati su Llama e Qwen.
Compilato questa lista di comandi Ollama un po' di tempo fa...
Ecco l’elenco e gli esempi dei comandi più utili di Ollama (Ollama commands cheatsheet) Li ho compilati un po’ di tempo fa. Spero che siano utili anche per te useful to you.
Prossima fase dei test sull'LLM
Non molto tempo fa è stato rilasciato. Andiamo a rivedere e
testa come si comporta Mistral Small rispetto ad altri LLM.
Un codice Python per il rirango di RAG
Confronto tra due motori di ricerca AI self-hosted
La buona cucina è un piacere per gli occhi. Ma in questo post compariamo due sistemi di ricerca basati sull’AI, Farfalle e Perplexica.
Eseguire un servizio nello stile di Copilot in locale? Facile!
Questo è molto eccitante! Invece di chiamare copilot o perplexity.ai e raccontare a tutti il mondo di cosa stai cercando, ora puoi ospitare un servizio simile sul tuo PC o laptop!
Non ce ne sono così tanti da scegliere, ma comunque...
Quando ho iniziato a sperimentare con gli LLM, le interfacce utente per loro erano in fase attiva di sviluppo e ora alcune di esse sono davvero buone.
Test della rilevazione delle fallacie logiche
Recentemente abbiamo visto il rilascio di diversi nuovi LLM. Tempi eccitanti. Testiamo e vediamo come si comportano quando rilevano fallacie logiche.
Richiede alcuni esperimenti ma
Tuttavia, esistono alcuni approcci comuni per scrivere promemoria efficaci in modo che i modelli linguistici non si confondano cercando di capire cosa si desidera da essi.
8 versioni llama3 (Meta+) e 5 versioni phi3 (Microsoft) LLM
Testando come modelli con un numero diverso di parametri e quantizzazione si comportano.
I file del modello LLM di Ollama occupano molto spazio.
Dopo l’installazione di ollama è meglio riconfigurare ollama per archiviarli in un nuovo luogo subito. In questo modo, dopo aver scaricato un nuovo modello, non verrà scaricato nella vecchia posizione.
