Ollama pada CPU Intel: Efisiensi vs. Inti Kinerja
Saya punya teori untuk diuji - jika memanfaatkan semua inti pada CPU Intel akan meningkatkan kecepatan LLM? Ini mengganggu saya bahwa model baru gemma3 27 bit (gemma3:27b, 17GB pada ollama) tidak masuk ke dalam VRAM 16GB GPU saya, dan sebagian berjalan di CPU.
Mengonfigurasi ollama untuk eksekusi permintaan paralel.
Ketika server Ollama menerima dua permintaan secara bersamaan, perilakunya bergantung pada konfigurasinya dan sumber daya sistem yang tersedia.
Membandingkan dua model deepseek-r1 dengan dua model dasar
Model pertama DeepSeek dengan kemampuan penalaran yang setara dengan OpenAI-o1, termasuk enam model padat yang didistilasi dari DeepSeek-R1 berbasis Llama dan Qwen.
Saya pernah mengumpulkan daftar perintah Ollama beberapa waktu lalu...
Berikut adalah daftar dan contoh dari perintah Ollama yang paling berguna (cheatsheet perintah Ollama) Saya telah mengumpulkan beberapa waktu lalu. Semoga akan berguna juga bagi Anda.
Putaran berikutnya uji LLM
Tidak lama yang lalu telah dirilis. Mari kita mengejar dan uji bagaimana kinerja Mistral Small dibandingkan dengan LLM lainnya.
Kode Python untuk reranking RAG
Membandingkan dua mesin pencari AI self-hosted
Makanan yang luar biasa juga memberikan kesenangan bagi mata Anda. Namun, dalam posting ini kita akan membandingkan dua sistem pencarian berbasis AI, Farfalle dan Perplexica.
Menjalankan layanan gaya copilot secara lokal? Mudah!
Itu sangat menarik! Alih-alih memanggil copilot atau perplexity.ai dan memberi tahu seluruh dunia apa yang Anda cari, sekarang Anda dapat menjalankan layanan serupa di PC atau laptop Anda sendiri!
Tidak terlalu banyak pilihan, tetapi tetap....
Saat saya mulai bereksperimen dengan LLM, UI-nya sedang dalam pengembangan aktif dan sekarang beberapa dari mereka benar-benar bagus.
Menguji deteksi kesalahan logika
Baru-baru ini kita melihat beberapa LLM baru yang dirilis. Masa yang menarik. Mari kita uji dan lihat bagaimana mereka berperforma saat mendeteksi fallasi logis.
Memerlukan beberapa eksperimen tetapi
Masih ada beberapa pendekatan umum bagaimana cara menulis prompt yang baik agar LLM tidak bingung mencoba memahami apa yang Anda inginkan darinya.
8 versi LLM llama3 (Meta+) dan 5 versi LLM phi3 (Microsoft)
Menguji bagaimana model dengan jumlah parameter yang berbeda dan kuantisasi berperilaku.
Berkas model LLM Ollama memakan banyak ruang.
Setelah memasang ollama lebih baik mengonfigurasi ulang ollama untuk menyimpannya di lokasi baru segera. Jadi setelah kita menarik model baru, tidak akan didownload ke lokasi lama.
