Ollama на процессорах Intel: эффективность против производительных ядер
У меня есть теория, которую нужно проверить - использование всех ядер Intel CPU повысит скорость работы LLMs? (Тест: Как Ollama использует производительность и эффективные ядра Intel CPU)
Меня беспокоит, что новая модель gemma3 27 бит (gemma3:27b, 17ГБ в ollama) не помещается в 16ГБ видеопамяти моей GPU и частично работает на CPU.
ИИ требует значительного энергопотребления...
В условиях современной турбулентности я сравниваю технические характеристики различных видеокарт, подходящих для задач ИИ (Глубокое обучение, Обнаружение объектов и Языковые модели). Они все невероятно дороги.
Понимание конкурентности, очередей и настройки параметра OLLAMA_NUM_PARALLEL для стабильных параллельных запросов в Ollama.
Это руководство объясняет то, как Ollama обрабатывает параллельные запросы (конкурентность, очередь и ограничения ресурсов), а также как настроить систему с помощью переменной окружения OLLAMA_NUM_PARALLEL (и связанных параметров).
Следующий раунд тестирования LLM
Недавно был выпущен Mistral Small. Давайте посмотрим, как он справляется в сравнении с другими языковыми моделями (тестирование производительности Mistral Small).
Тестирование обнаружения логических ошибок
Недавно мы увидели несколько новых языковых моделей, которые были выпущены. Возбуждающие времена. Давайте протестируем и посмотрим, как они работают при обнаружении логических ошибок.
8 версий LLM llama3 (Meta+) и 5 версий phi3 (Microsoft)
Исследование поведения моделей с разным количеством параметров и квантования.
Давайте протестируем скорость работы больших языковых моделей на GPU по сравнению с CPU
Сравнение скорости предсказания нескольких версий ЛЛМ: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на CPU и GPU.
