Ollama su CPU Intel: efficienza vs prestazioni
Ho un’ipotesi da testare: se utilizzare TUTTI i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non si adatti ai 16 GB di VRAM della mia GPU, e venga eseguito parzialmente sul CPU.
Configurare ollama per l'esecuzione di richieste parallele.
Quando il server Ollama riceve due richieste contemporaneamente, il suo comportamento dipende dalla sua configurazione e dalle risorse del sistema disponibili.
Confronto tra due modelli deepseek-r1 e due modelli base
DeepSeek’s prima generazione di modelli di ragionamento con prestazioni paragonabili a quelle di OpenAI-o1, inclusi sei modelli densi distillati da DeepSeek-R1 basati su Llama e Qwen.
Elenco aggiornato dei comandi Ollama - ls, ps, run, serve, ecc.
Questo Ollama CLI cheatsheet si concentra sui comandi che utilizzi ogni giorno (ollama ls, ollama serve, ollama run, ollama ps, gestione dei modelli e workflow comuni), con esempi che puoi copiare/incollare.
Prossima serie di test sull'LLM
Non molto tempo fa è stato rilasciato. Veniamo al punto e testiamo come si comporta Mistral Small rispetto ad altri LLM.
Un codice Python per il rirango di RAG
Confronto tra due motori di ricerca AI self-hosted
La buona cucina è un piacere per gli occhi. Ma in questo post compariamo due sistemi di ricerca basati sull’AI, Farfalle e Perplexica.
Eseguire un servizio nello stile di Copilot in locale? Facile!
Questo è molto eccitante! Invece di chiamare Copilot o Perplexity.ai e raccontare a tutti del mondo cosa stai cercando, ora puoi ospitare un servizio simile sul tuo PC o laptop!
Non ce ne sono così tanti da scegliere, ma comunque...
Quando ho iniziato a sperimentare con gli LLM, le interfacce utente per loro erano in fase attiva di sviluppo e ora alcune di esse sono davvero buone.
Test della rilevazione delle fallacie logiche
Recentemente abbiamo visto l’uscita di diversi nuovi LLM. Tempi eccitanti. Proviamo a testarli e a vedere come si comportano nel rilevare le fallacie logiche.
Richiede alcuni esperimenti ma
Tuttavia, esistono alcuni approcci comuni per scrivere promemoria efficaci in modo che i modelli linguistici non si confondano cercando di capire cosa si desidera da essi.
8 versioni di llama3 (Meta+) e 5 versioni di phi3 (Microsoft) LLM
Testare come si comportano i modelli con diverso numero di parametri e quantizzazione.
I file del modello LLM Ollama occupano molto spazio.
Dopo aver installato ollama è meglio riconfigurare ollama per archiviarli in un nuovo posto fin da subito. In questo modo, dopo aver scaricato un nuovo modello, non verrà scaricato nella vecchia posizione.
