LLM

Вот сравнение между Qwen3:30b и GPT-OSS:20b с акцентом на выполнение инструкций и параметры производительности, спецификации и скорость:

В этой статье мы рассмотрим два способа подключения вашего Python-приложения к Ollama: 1. Через HTTP REST API; 2. Через официальную библиотеку Ollama для Python.

Модели GPT-OSS от Ollama регулярно сталкиваются с проблемами при работе со структурированным выводом, особенно в сочетании с фреймворками, такими как LangChain, OpenAI SDK, vllm и другими.

Вот сравнение поддержки структурированного вывода (получение надежного JSON) среди популярных поставщиков LLM, а также минимальные примеры на Python

Большие языковые модели (LLM) мощные, но в производстве мы редко хотим свободноформатных абзацев. Вместо этого нам нужны предсказуемые данные: атрибуты, факты или структурированные объекты, которые можно передать в приложение. Это Структурированный вывод LLM.

Здесь я сравниваю, сколько видеопамяти новая версия Ollama выделяет для модели по сравнению с предыдущей версией. Новая версия работает хуже.

Ollama быстро стал одним из самых популярных инструментов для запуска локальных больших языковых моделей. Его простой интерфейс командной строки и упрощенное управление моделями сделали его предпочтительным вариантом для разработчиков, желающих работать с моделями ИИ вне облака. Но как и многие перспективные платформы, уже появляются признаки Enshittification:

Локально установленные сервис Ollama позволяет запускать большие языковые модели на вашем собственном компьютере, но использование его через командную строку не очень удобно. Вот несколько открытых проектов, которые предоставляют интерфейсы в стиле ChatGPT, подключающиеся к локальному Ollama.

Nvidia готовится к выпуску NVIDIA DGX Spark - небольшого суперкомпьютера для ИИ на архитектуре Blackwell с 128+ ГБ объединённой оперативной памяти и производительностью 1 ПФЛОПС в области ИИ. Отличное устройство для запуска больших языковых моделей.

Здесь представлено описание Протокола Контекста Модели (MCP), краткие заметки о том, как реализовать MCP сервер на Go, включая структуру сообщений и спецификации протокола.

Поскольку стандартный Ollama не имеет прямого API для переупорядочивания, вам нужно реализовать переупорядочивание с использованием Qwen3 Reranker на GO, генерируя векторы представлений для пар запрос-документ и оценивая их.

В этом тесте я сравниваю, как разные LLM, размещённые на Ollama, переводят Hugo-страницу с английского на немецкий.
Три страницы, которые я протестировал, были на разных темах, имели хорошее markdown-форматирование с определённой структурой: заголовки, списки, таблицы, ссылки и т.д.

Этот маленький
Пример кода на Go для reranking вызывает Ollama для генерации вложений
для запроса и для каждого кандидата документа,
затем сортирует по убыванию косинусной схожести.

Модели Qwen3 Embedding и Reranker являются последними выпусками в семействе Qwen, специально разработанными для продвинутых задач встраивания текста, извлечения и повторного ранжирования.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.