LLM

هنا أقارن كمية الـVRAM التي تخصصها الإصدار الجديد من Ollama للموديل مع الإصدار السابق من Ollama. الإصدار الجديد أسوأ.

Ollama أصبح من بين الأدوات الأكثر شعبية بسرعة لتشغيل نماذج LLM محليًا. بواجهة سطر الأوامر البسيطة وإدارة النماذج المبسطة، أصبحت خيارًا مفضلاً للمطورين الذين يريدون العمل مع نماذج الذكاء الاصطناعي خارج السحابة. لكن كما هو الحال مع منصات واعدة كثيرة، هناك مؤشرات مبكرة على Enshittification:

يتيح Ollama المضيف محليًا تشغيل نماذج لغات كبيرة على جهازك الخاص، ولكن استخدامه عبر سطر الأوامر ليس ودودًا للمستخدم.
هناك عدة مشاريع مفتوحة المصدر توفر واجهات تشبه ChatGPT تربط مع Ollama المحلي.

نvidia على وشك إصدار NVIDIA DGX Spark - جهاز كمبيوتر صغير جداً لتشغيل الذكاء الاصطناعي بناءً على بنية Blackwell مع 128+ جيجابايت من الذاكرة الموحّدة و 1 PFLOPS من أداء الذكاء الاصطناعي. جهاز رائع لتشغيل نماذج الذكاء الاصطناعي الكبيرة (LLMs).

هنا لدينا وصف بروتوكول سياق النموذج (MCP)، ملاحظات قصيرة حول كيفية تنفيذ خادم MCP في Go، بما في ذلك هيكل الرسالة، ومواصفات البروتوكول.

بما أن Ollama القياسي لا يحتوي على واجهة برمجة تطبيقات (API) لترتيب النتائج (Rerank) مباشرة، فإنك ستحتاج إلى تنفيذ ترتيب النتائج باستخدام نموذج Qwen3 Reranker في GO من خلال إنشاء تمثيلات (embeddings) للزوجات (query-document) وتصنيفها.

في هذا الاختبار، أنا مقارنة كيف تترجم نماذج LLM المختلفة المضمنة في Ollama صفحات Hugo من الإنجليزية إلى الألمانية. ثلاث صفحات اختبرتها كانت على مواضيع مختلفة، وتحتوي على بعض العلامات المرجعية الجيدة مع بعض الهيكل: العناوين، والقوائم، والجداول، والروابط، وغيرها.

هذا المثال الصغير كود Go لترتيب المعاودة يدعو Ollama لإنشاء تضمينات للمستفسر ولكل وثيقة مرشحة، ثم ترتيبها تنازليًا حسب التشابه الكسبي.

النماذج Qwen3 Embedding و Reranker هي أحدث الإصدارات في عائلة Qwen، وتم تصميمها خصيصًا للمهام المتقدمة في تضمين النصوص، والبحث، والترتيب مرة أخرى.

كيف تؤثر مسارات PCIe على أداء النماذج الكبيرة؟ يعتمد ذلك على المهمة. بالنسبة للتدريب والتنبؤ متعدد GPUs - فإن انخفاض الأداء كبير.

في مكتبة نماذج Ollama هناك نماذج قادرة تحويل محتوى HTML إلى Markdown، وهو مفيد للمهام المتعلقة بتحويل المحتوى.

• البحث هو الأفضل للحصول على معلومات بسرعة ووضوح باستخدام الكلمات المفتاحية.
• البحث العميق يتفوق في فهم السياق والنية، مما يؤدي إلى نتائج أكثر صلة وشمولًا للأسئلة المعقدة.

سأ列举一些由人工智能辅助的编程工具和 مساعدي البرمجة بالذكاء الاصطناعي وفوائدهم الرائعة.

استخدام نماذج LLM ليس مكلفًا جدًا، وقد لا يكون هناك حاجة لشراء وحدة معالجة رسومات جديدة رائعة. إليك قائمة بـ مزوّدي LLM في السحابة مع النماذج التي يحتويها.

لدي نظرية أريد اختبارها - هل استخدام جميع النوى على معالج Intel CPU سيزيد سرعة نماذج LLM؟ (اختبار: كيف يستخدم Ollama أداء معالج Intel ووحدات النوى الفعالة) يزعجني أن نموذج gemma3 27 بت (gemma3:27b، 17GB على ollama) لا يناسب 16GB VRAM لبطاقتي الرسومية، ويتم تشغيله جزئيًا على المعالج.

في وسط الفوضى في العالم الحديث هنا أنا مقارنة مواصفات التكنولوجيا المختلفة المناسبة لمهام الذكاء الاصطناعي (التعلم العميق, كشف الكائنات ونماذج الذكاء الاصطناعي الكبيرة). ولكنها جميعًا باهظة التكلفة للغاية.