Скорость генерации токенов llama.cpp на 16 ГБ видеопамяти (таблицы).
Здесь я сравниваю скорость нескольких больших языковых моделей (LLM), работающих на видеокарте с 16 ГБ видеопамяти, и выбираю лучшую для локального развертывания.
Тест скорости LLM на RTX 4080 с 16 ГБ видеопамяти
Запуск крупных языковых моделей локально обеспечивает вам конфиденциальность, возможность работы оффлайн и отсутствие затрат на API. Этот бенчмарк раскрывает, чего именно можно ожидать от 14 популярных LLMs на Ollama на RTX 4080.
Бенчмарки GPT-OSS 120b на трёх платформах ИИ
Я выкопал некоторые интересные тесты производительности GPT-OSS 120b, работающего на Ollama на трех разных платформах: NVIDIA DGX Spark, Mac Studio и RTX 4080. Модель GPT-OSS 120b из библиотеки Ollama весит 65ГБ, что означает, что она не помещается в 16ГБ видеопамяти RTX 4080 (или более новой RTX 5080).
Специализированные микросхемы (ASIC) и кастомные кремниевые решения ускоряют и повышают эффективность логического вывода в больших языковых моделях (LLM).
Будущее ИИ заключается не только в более умных моделях. Речь также идет о кремнии, который соответствует тому, как эти модели действительно развертываются. Специализированное оборудование для [инференса LLM](https://www.glukhov.org/ru/llm-performance/hardware/llm-asics/ “Скорость инференса LLM на ASIC)” движется по пути, напоминающему эволюцию майнинга Биткойна от GPU к специально разработанным ASIC, но с более жесткими ограничениями, поскольку модели и схемы точности постоянно развиваются.
Сравнение скорости, параметров и производительности этих двух моделей
Вот сравнение между Qwen3:30b и GPT-OSS:20b, с акцентом на выполнение инструкций и параметры производительности, спецификации и скорость.
Не очень приятно.
Модели GPT-OSS от Ollama (https://www.glukhov.org/ru/llm-performance/ollama/ollama-gpt-oss-structured-output-issues/ “Ollama GPT-OSS”) постоянно сталкиваются с проблемами при работе со структурированным выводом, особенно при использовании с фреймворками вроде LangChain, OpenAI SDK, vllm и другими.
Мое собственное тестирование планирования моделей Ollama
Здесь я сравниваю, сколько VRAM новая версия Ollama выделяет для модели по сравнению с предыдущей версией. Новая версия работает хуже.
Думаете об установке второго GPU для LLMs?
Как количество PCIe-полос влияет на производительность LLM? Зависит от задачи. Для обучения и многопроцессорной инференции - значительное падение производительности.
Ollama на процессорах Intel: эффективность против производительных ядер
У меня есть теория, которую нужно проверить - использование всех ядер Intel CPU повысит скорость работы LLMs? (Тест: Как Ollama использует производительность и эффективные ядра Intel CPU)
Меня беспокоит, что новая модель gemma3 27 бит (gemma3:27b, 17ГБ в ollama) не помещается в 16ГБ видеопамяти моей GPU и частично работает на CPU.
Искусственный интеллект требует большого количества энергии...
В разгар современных потрясений я сравниваю технические характеристики различных видеокарт, подходящих для задач ИИ (Deep Learning, Обнаружение объектов и LLMs). Однако все они невероятно дороги.
Настройка ollama для параллельного выполнения запросов.
Когда сервер Ollama получает два запроса одновременно, его поведение зависит от конфигурации и доступных системных ресурсов.
Следующий раунд тестирования LLM
Недавно был выпущен Mistral Small. Давайте посмотрим, как он справляется в сравнении с другими языковыми моделями (тестирование производительности Mistral Small).
Тестирование обнаружения логических ошибок
Недавно мы увидели несколько новых языковых моделей, которые были выпущены. Возбуждающие времена. Давайте протестируем и посмотрим, как они работают при обнаружении логических ошибок.
8 версий LLM llama3 (Meta+) и 5 версий phi3 (Microsoft)
Исследование поведения моделей с разным количеством параметров и квантования.
Давайте протестируем скорость работы больших языковых моделей на GPU по сравнению с CPU
Сравнение скорости предсказания нескольких версий ЛЛМ: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на CPU и GPU.
