بدء استخدام vLLM بسرعة: تقديم نماذج LLM高性能
استنتاج نموذج LLM السريع باستخدام واجهة برمجة التطبيقات الخاصة بـ OpenAI
vLLM هو محرك استنتاج وتقديم ذا كفاءة عالية في الذاكرة لمحركات النماذج الكبيرة (LLMs) تم تطويره من قبل مختبر سكاي كومبيتينغ في جامعة كاليفورنيا بيركلي.