وهل من المعقول أن أرى هذا BSOD...
كنت أشعر بالتأثير الكبير من هذه المشكلة. ولكن يجب عليك التحقق والاختبار على جهاز الكمبيوتر الخاص بك إذا كان شاشة الموت الأزرق (BSOD) الخاصة بك مشابهة لصيغتي.
السبب هو مشكلة تدهور معالجات إنتل في الجيل الثالث عشر والرابع عشر.
أولاما على معالج إنتل: الكفاءة مقابل أداء النواة
لدي نظرية أريد اختبارها - هل استخدام جميع النوى على معالج Intel CPU سيزيد سرعة نماذج LLM؟ (اختبار: كيف يستخدم Ollama أداء معالج Intel ووحدات النوى الفعالة) يزعجني أن نموذج gemma3 27 بت (gemma3:27b، 17GB على ollama) لا يناسب 16GB VRAM لبطاقتي الرسومية، ويتم تشغيله جزئيًا على المعالج.
تتطلب الذكاء الاصطناعي الكثير من القوة...
في وسط الفوضى في العالم الحديث هنا أنا مقارنة مواصفات التكنولوجيا المختلفة المناسبة لمهام الذكاء الاصطناعي (التعلم العميق, كشف الكائنات ونماذج الذكاء الاصطناعي الكبيرة). ولكنها جميعًا باهظة التكلفة للغاية.
تهيئة ollama لتنفيذ طلبات متوازية.
عندما يتلقى خادم Ollama طلبين في نفس الوقت، فإن سلوكه يعتمد على إعداداته وموارد النظام المتاحة.
من الأسهل بكثير مقارنةً بالمحركات القديمة للطباعة
تثبيت ET-8500 على Windows موثق جيدًا في التعليمات. تثبيت مُستوى القيادة لـ ET-8500 على Linux سهل ولكن ليس بسيطًا.
لنختبر سرعة النماذج الكبيرة للغة على وحدة معالجة الرسومات (GPU) مقابل وحدة المعالجة المركزية (CPU)
مقارنة سرعة التنبؤ لعدة إصدارات من نماذج LLMs: llama3 (Meta/Facebook)، phi3 (Microsoft)، gemma (Google)، mistral (مصدر مفتوح) على وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU).
