Hardware

Bagaimana Jalur PCIe Mempengaruhi Kinerja LLM? Tergantung pada tugasnya. Untuk pelatihan dan inferensi multi-GPU — penurunan kinerja sangat signifikan.

Saya terkena masalah ini dengan sangat keras. Namun, Anda sebaiknya menyelidiki dan menguji PC Anda jika BSOD Anda mirip dengan milik saya.
Penyebabnya adalah Masalah Degradasi CPU Intel pada Generasi ke-13 dan ke-14.

Saya punya teori untuk diuji - jika memanfaatkan semua inti pada CPU Intel akan meningkatkan kecepatan LLM? Ini mengganggu saya bahwa model baru gemma3 27 bit (gemma3:27b, 17GB pada ollama) tidak masuk ke dalam VRAM 16GB GPU saya, dan sebagian berjalan di CPU.

Dalam tengah-tengah kekacauan dunia modern ini, di sini saya membandingkan spesifikasi teknis dari berbagai kartu yang cocok untuk tugas AI
(Deep Learning,
Object Detection
dan LLMs).
Mereka semua sangat mahal meskipun demikian.

Ketika server Ollama menerima dua permintaan secara bersamaan, perilakunya bergantung pada konfigurasinya dan sumber daya sistem yang tersedia.

Pemasangan ET-8500 di Windows telah didokumentasikan dengan baik dalam instruksi. Pemasangan Driver ET-8500 untuk Linux adalah sederhana tetapi tidak trivial.

Membandingkan kecepatan prediksi beberapa versi LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) pada CPU dan GPU.