Dan mengapa saya terus melihat BSOD ini...
Saya terkena masalah ini dengan sangat keras. Namun, Anda sebaiknya menyelidiki dan menguji PC Anda jika BSOD Anda mirip dengan milik saya.
Penyebabnya adalah Masalah Degradasi CPU Intel pada Generasi ke-13 dan ke-14.
Ollama pada CPU Intel: Efisiensi vs. Inti Kinerja
Saya punya teori untuk diuji - jika memanfaatkan semua inti pada CPU Intel akan meningkatkan kecepatan LLM? Ini mengganggu saya bahwa model baru gemma3 27 bit (gemma3:27b, 17GB pada ollama) tidak masuk ke dalam VRAM 16GB GPU saya, dan sebagian berjalan di CPU.
AI membutuhkan banyak daya...
Dalam tengah-tengah kekacauan dunia modern ini, di sini saya membandingkan spesifikasi teknis dari berbagai kartu yang cocok untuk tugas AI
(Deep Learning,
Object Detection
dan LLMs).
Mereka semua sangat mahal meskipun demikian.
Mengonfigurasi ollama untuk eksekusi permintaan paralel.
Ketika server Ollama menerima dua permintaan secara bersamaan, perilakunya bergantung pada konfigurasinya dan sumber daya sistem yang tersedia.
Jauh lebih sederhana dibandingkan dengan pengemudi printer lama
Pemasangan ET-8500 di Windows telah didokumentasikan dengan baik dalam instruksi. Pemasangan Driver ET-8500 untuk Linux adalah sederhana tetapi tidak trivial.
Mari uji kecepatan LLM pada GPU versus CPU
Membandingkan kecepatan prediksi beberapa versi LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) pada CPU dan GPU.
