Hardware

كيف تؤثر مسارات PCIe على أداء النماذج الكبيرة؟ يعتمد ذلك على المهمة. بالنسبة للتدريب والتنبؤ متعدد GPUs - فإن انخفاض الأداء كبير.

كنت أشعر بالتأثير الكبير من هذه المشكلة. ولكن يجب عليك التحقق والاختبار على جهاز الكمبيوتر الخاص بك إذا كان شاشة الموت الأزرق (BSOD) الخاصة بك مشابهة لصيغتي.

السبب هو مشكلة تدهور معالجات إنتل في الجيل الثالث عشر والرابع عشر.

لدي نظرية أريد اختبارها - هل استخدام جميع النوى على معالج Intel CPU سيزيد سرعة نماذج LLM؟ (اختبار: كيف يستخدم Ollama أداء معالج Intel ووحدات النوى الفعالة) يزعجني أن نموذج gemma3 27 بت (gemma3:27b، 17GB على ollama) لا يناسب 16GB VRAM لبطاقتي الرسومية، ويتم تشغيله جزئيًا على المعالج.

في وسط الفوضى في العالم الحديث هنا أنا مقارنة مواصفات التكنولوجيا المختلفة المناسبة لمهام الذكاء الاصطناعي (التعلم العميق, كشف الكائنات ونماذج الذكاء الاصطناعي الكبيرة). ولكنها جميعًا باهظة التكلفة للغاية.

عندما يتلقى خادم Ollama طلبين في نفس الوقت، فإن سلوكه يعتمد على إعداداته وموارد النظام المتاحة.

تثبيت ET-8500 على Windows موثق جيدًا في التعليمات. تثبيت مُستوى القيادة لـ ET-8500 على Linux سهل ولكن ليس بسيطًا.

مقارنة سرعة التنبؤ لعدة إصدارات من نماذج LLMs: llama3 (Meta/Facebook)، phi3 (Microsoft)، gemma (Google)، mistral (مصدر مفتوح) على وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU).