AI

اختبار كيف تؤثر النماذج ذات عدد مختلف من المعلمات والكم量化 على الأداء.

بعد تثبيت ollama من الأفضل إعادة تكوين ollama لتخزينها في مكان جديد فورًا. إذن بعد أن نسحب نموذجًا جديدًا، لن يتم تنزيله إلى الموقع القديم.

مقارنة سرعة التنبؤ لعدة إصدارات من نماذج LLMs: llama3 (Meta/Facebook)، phi3 (Microsoft)، gemma (Google)، mistral (مصدر مفتوح) على وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU).

هنا أنا أقارن بين عدة إصدارات من نماذج LLM: Llama3 (Meta)، Phi3 (Microsoft)، Gemma (Google)، Mistral Nemo (Mistral AI) وQwen (Alibaba).