Тест скорости работы крупных языковых моделей
Давайте протестируем скорость работы больших языковых моделей на GPU по сравнению с CPU
Сравнение скорости предсказания нескольких версий ЛЛМ: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на CPU и GPU.
