Запуск Qwen3.8-Flash-Next локально с помощью Strata: быстрое начало с 64 ГБ

125B MoE на одном потребительском GPU — и где ломается 3-бит

Содержимое страницы

Qwen3.8-Flash-Next (QFN) имеет общее количество параметров 125 млрд, 6 млрд активных параметров на токен и нативное контекстное окно 256K. Функция мышления (thinking) включена по умолчанию, а модель демонстрирует наивысшие результаты в бенчмарках агентного кодирования в своем классе локальных моделей.

В этой статье описан процесс запуска 3-битной квантизации QFN на настольном компьютере с 64 ГБ ОЗУ и видеокартой RTX 5090 с использованием Strata, а также задокументировано, почему квантизации ниже Q4 не обеспечивают надежных вызовов инструментов для агентных задач.

Три уровня памяти для MoE на 125 млрд параметров: GPU, pinned RAM и SSD

Команды установки, объем ОЗУ, занимаемый каждым пакетом квантизации, и ошибки вызовов инструментов на 64 ГБ настольном ПК приведены ниже. Данные о скорости и ошибках объединяют пропуски на этой машине — RTX 5090, 64 ГБ ОЗУ, Ubuntu 26.04 — с отчетами с трекера Strata и заметками о выпуске версии 0.2.11.

Команды и значения по умолчанию движка были проверены 06.11.2026 для Strata 0.2.11, когда у репозитория было 40 836 звезд, а пакеты движка — версия 0.1.57. Место этого рантайма по отношению к Ollama, llama.cpp и vLLM рассматривается в гайде по хостингу LLM.

Что такое Strata

Движок в этом быстром старте — Niko1221/Strata, с лицензией MIT. Другой проект, статья OSDI 2026 о иерархическом кэшировании KV для SGLang, использует то же название. Strata построен на базе llama.cpp и ggml, и в репозитории присутствует статья в docs/paper/Strata-Paper.pdf. Он запускает Qwen3.8-Flash-Next на одном потребительском GPU, системной ОЗУ и SSD. Тот же движок обслуживает также Qwen3.6-35B и DeepSeek V4.1-Flash.

Qwen 3.8 Flash Next имеет 24 576 маршрутизированных экспертов в 48 слоях; каждый токен активирует 10 экспертов (всего 6 млрд активных параметров). Strata распределяет модель по трем уровням памяти, а не требует, чтобы она целиком помещалась в один.

Уровень Содержит Функция
GPU (VRAM) Внимательность, миксеры DeltaNet, веса с гейтами-остатками, маршрутизаторы, общие эксперты, выходная головка, слой черновика MTP, кэш KV (с 64K: самая часто читаемая часть; остальное стримится из ОЗУ), плюс кэш экспертов Все, что выполняется на токен; кэш экспертов заполняет оставшуюся VRAM наиболее часто используемыми экспертами и адаптируется к разговору по ходу выполнения
ОЗУ Все 24 576 экспертов, зафиксированные (pinned) CPU вычисляет экспертов, которых нет на GPU, на месте, одновременно с работой GPU над закэшированными (ядра AVX-512/AVX2, ggml для i-quants)
SSD Таблица встраиваний n-gram на 28,8 ГБ Чтение нескольких строк на токен через page cache ОС

Блок параметров n-gram на 51 млрд служит поисковой таблицей из 20 млн записей, индексируемой по биграммам и триграммам. Поскольку это поиск, а не матричное умножение, он может размещаться на SSD с минимальными затратами во время выполнения.

Вместимость VRAM определяет ось масштабирования. Каждый дополнительный гигабайт VRAM хранит примерно 700 экспертов, и каждый эксперт, закэшированный на GPU, снижает вычисления на CPU. Медленная видеокарта с большим объемом VRAM превосходит быструю с меньшим.

Вместимость ОЗУ является жестким ограничением, так как все эксперты должны быть зафиксированы (pinned) для одновременных вычислений на CPU и GPU. Strata не поддерживает ленивое отображение памяти на диск. Размер загрузки и использование ОЗУ почти идентичны для QFN.

Как формируется скорость декодирования

Три механизма обеспечивают скорость декодирования.

  1. Многотоковый прогноз. Чекпоинт включает один слой MTP, обученный для многотокенных черновиков. Strata составляет черновики до 3 токенов и проверяет их за один проход по всем 48 слоям — цикл «черновик-проверка» в гайде по спекулятивному декодированию. Проект измеряет среднее принятие на уровне 2,4–3,2 токена за проход, что заявляется как ускорение декодирования в 1,6–1,8 раза при том же результате.

  2. Поиск по промпту. Сервер извлекает до 5 токенов-черновиков из предыдущих копий контекста, когда модель повторяет его, как в редактировании кода или цитировании. Проект сообщает, что редактирование кода становится на 6–11% быстрее, а другой текст не меняется.

  3. Разбитый prefill. Промпты поступают блоками до 8 192 токенов, и эксперты следующего слоя перемещаются по PCIe, пока выполняется внимание текущего слоя. Проект указывает, что обработка длинных документов и кодовых баз превышает 1 000 токенов/с, а следующий запрос начинается в течение нескольких секунд, поскольку состояние разговора остается в памяти.

Сервер поставляется с локальным чат-интерфейсом в виде настольного приложения или в терминале, а также с эндпоинтами, совместимыми с OpenAI и Anthropic, на localhost. Claude Code, Codex CLI, OpenCode, Hermes Agent и OpenClaw подключаются через strata connect. Аппаратное обеспечение, указанное проектом: NVIDIA RTX 20/30/40/50 серии (пакеты движка CUDA 13 требуют драйвер 580 или новее), AMD Radeon на HIP, Intel Arc на Linux, Apple Silicon и AMD Strix Halo. Выпуск 0.2.11 — это Strata-0.2.11-linux-x86_64.AppImage для настольного приложения; путь терминала, описанный ниже, является тем, через который проходит этот быстрый старт.

Бенчмарки QFN против локальных альтернатив

Карточка модели от Alibaba сравнивает Flash-Next с Qwen3.8-27B, DeepSeek-V4-Flash (чекпоинт 0731) и Claude Opus 4.6 (Max).

QFN Qwen3.8-27B DeepSeek-V4-Flash Claude Opus 4.6 (Max)
Всего / активных параметров 125 млрд / 6 млрд 27 млрд / 27 млрд 284 млрд / 13 млрд –
Параметры встраивания N-gram 51 млрд – – –
DeepSWE 1.1 (агентное кодирование) 58,7 42,2 54,4 –
SWE-bench Pro 62,5 61,7 56,0 53,4
SWE-bench Multilingual 81,0 73,8 – 77,5
Toolathlon Verified (использование инструментов) 73,5 67,1 70,3 –
JobBench (агентный офис) 55,7 33,4 41,3 36,6
CoWorkBench 73,9 70,7 45,1 68,2
GPQA Diamond 91,7 89,2 90,8 91,3
LiveCodeBench v6 91,9 90,3 90,6 88,8

Строки агентного кодирования на этой карточке использовали температуру 1.0, top_p 0.95 и окно 256K. DeepSWE сообщает более высокий результат из харнесов Claude Code и mini-SWE-agent, а карточка указывает, что более высокий балл Flash-Next получен на mini-SWE-agent. SWE-bench Pro перезапустил базовые варианты на исправленном наборе задач; ячейка Claude Opus 4.6 — это опубликованный вендором балл, а остальные ячейки — это Claude Code.

Две строки на той же карточке идут в другую сторону. NL2Repo-Bench составляет 48,1 для Flash-Next и 54,2 для DeepSeek-V4-Flash. HLE, оцениваемый GPT-4o, составляет 35,9 против Claude Opus 4.6 (Max) на уровне 40,0.

Для агентной работы значениями по умолчанию на карточке являются включенный preserve_thinking, чтобы трассировка рассуждений сохранялась между ходами, и reasoning_effort на уровне xhigh. Другие уровни — medium и low. Страница семейства Qwen 4 отслеживает то, что Alibaba подтвердила об этой линейке, включая Лицензию сообщества Qwen 1.0 для этих весов. Таблица выше — это та часть, которую можно измерить сегодня.

Пакеты квантизации и размеры

ISTA-DASLab GSQ-RCO

GGUF от ISTA-DASLab GSQ-RCO используют нелинейную квантизацию. GSQ — это низкобитовая скалярная квантизация на тензор, а RCO назначает тип на тензор в пределах бюджетного размера. Метод тратит почти все сжатие на маршрутизированных экспертах, которые составляют 95% искомых весов. Каждая сборка — это два шарда. Второй — это таблица n-gram примерно с 4,5 битами на вес, и его можно отображать с диска.

Сборка Ср. битов/вес Резидентный шард Шард N-gram Всего Примечания
Q2_0 2,40 37,6 ГБ 28,8 ГБ 66,4 ГБ Сборка для скорости: избегает форматов таблиц поиска; 367 промпт-ток/с, 93,8 декод-ток/с, ср. латентность 6,7 с (против 12,7 с для IQ2_XS при почти том же размере)
IQ2_XS 2,50 39,2 ГБ 28,8 ГБ 68,0 ГБ Наименьший при равном качестве
IQ3_XXS 3,00 47,0 ГБ 28,8 ГБ 75,8 ГБ Вариант для тесной памяти; совпадает с базовой моделью на AIME25, теряет ~1,5 балла на GPQA-Diamond
IQ3_S 3,50 54,8 ГБ 28,8 ГБ 83,6 ГБ Рекомендация ISTA: совпадает или превосходит базовую модель на каждой задаче в их харнесе (GPQA-Diamond 92,93 против 91,92)

Эти показатели GPQA — из харнеса ISTA, а не 91,7 на карточке Alibaba. Вариант Coder сохраняет 256 из 512 маршрутизированных экспертов на слой, занимая 58,4 ГБ и имея эффективную плотность 1,89 бита на вес. Визуальный проектор BF16 на 0,91 ГБ — это мультимодальное дополнение. Линейка ISTA заканчивается на IQ3_S; у нее нет сборки Q4.

Пакеты Unsloth в Strata 0.2.11

04.11.2026 Unsloth повторно выложили свои GGUF для Qwen3.8-Flash-Next как Dynamic v3.1. Заметки о выпуске 0.2.11 говорят, что Strata может скачать, подготовить и запустить семь из них из приложения, из strata launch --family unsloth или из папки, которую у вас уже есть. Каждый файл проверяется по размеру и SHA-256 против ревизии Unsloth d9620119. Последний файл каждого набора — это таблица на 28,8 ГБ на токен. Наборы, разделяющие таблицу, разделяют файл: UD-IQ1_M с UD-IQ2_XS, и UD-IQ3_XXS с UD-IQ4_XS-v31.

Имя в Strata Загрузка Файлы
UD-IQ1_M 68,0 ГБ 3
UD-Q2_0 70,6 ГБ 3
UD-IQ2_XS 75,8 ГБ 3
UD-Q2_K_XL 79,6 ГБ 4
UD-IQ3_XXS 83,6 ГБ 4
UD-Q3_K_XL 89,5 ГБ 4
UD-IQ4_XS-v31 93,7 ГБ 4

UD-IQ4_XS-v31 — это другой файл, чем UD-IQ4_XS, который Strata предлагал ранее: другие типы тензоров, четыре файла вместо трех. UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL и Q8_0 остаются на файлах от 30.09.2026. UD-Q4_K_XL от 04.11 — это те же веса в четырехфайловом разрезе, и Strata принимает этот разрез, если у вас он уже есть. UD-IQ1_S не загружается — один слой смешивает два формата экспертов — поэтому UD-IQ1_M — это 1-битный выбор.

UD-IQ4_XS-v31 использует формат экспертов Q5_0 в 33 слоях. Те же заметки говорят, что математика Q5_0 в Strata отклоняется на 1,2–1,3% от точного результата, против 2,6–3,0% для формулы llama.cpp на этих тензорах. На Mac приложение переписывает эксперты в один файл GPU перед первым запуском, поэтому бюджет диска — это загрузка плюс этот файл плюс несколько гигабайт (примерно 115 ГБ для UD-IQ1_M).

Если таблица на 28,8 ГБ остается отображенной, остальная часть UD-IQ4_XS-v31 составляет около 64,9 ГБ до кэша KV, что уже превышает 64 ГБ машины по правилам фиксации (pinning) Strata. Остаток UD-IQ1_M составляет около 39,2 ГБ. Этот файл может поместиться там, где IQ3_S не может, и это 1-битный пакет, еще дальше от поведения вызовов инструментов, измеренного ниже при 3 битах.

Быстрый старт: Установка, запуск и настройка первого запуска

Для настольного Linux нужна карта серии RTX 20/30/40/50 или другой GPU, указанный проектом, достаточно ОЗУ для выбранного пакета плюс запас под кэш KV, и место на SSD для загрузки. Пакеты движка CUDA 13 требуют драйвер 580 или новее.

Установка в терминале:

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch

strata launch спрашивает модель, квантизацию, контекст, папку хранения и настройки доступа, скачивает движок для вашей карты, запускает сервер и показывает монитор со скоростью, памятью и данными запросов. Эндпоинт по умолчанию — http://127.0.0.1:8080.

Чтобы увидеть, что поместится, до загрузки в 76 ГБ, или чтобы начать без промптов:

strata launch --family qwen --model q2_0 --plan      # сухой прогон: чего не хватает, что помещается
strata launch --family qwen --model q2_0 --yes --no-tui   # запуск в фоне
strata launch --status
strata connect    # печатает конфигурацию для Claude Code / OpenCode / Hermes / OpenClaw / ...
strata launch --stop

Эти флаги --family qwen --model q2_0 — это сухой прогон, использованный для сборки ISTA Q2_0 на Ubuntu 26.04. Пакеты Unsloth используют --family unsloth и имя из таблицы выше. strata connect печатает блок провайдера для каждого инструмента. Обе формы API используют URL, совместимый с OpenAI (http://127.0.0.1:8080/v1), и имя модели, которое печатает запуск. Любой клиент, принимающий кастомный эндпоинт, совместимый с OpenAI, включая Cursor, использует эту пару.

Обновление существующей установки

Заметки об установке дают три команды для Терминала, который уже находится на машине. strata update --check читает подписанную ленту релизов и сообщает, что изменится. strata update скачивает движок для этой машины и компонент Control, и переключается только после тестового запуска. strata --version печатает версию после этого. У приложения, Control и движка отдельные номера версий, поэтому все три могут отличаться.

strata update --check
strata update
strata --version

При загруженной модели strata update называет ее и спрашивает перед остановкой. Новый движок скачивается, пока эта модель продолжает обслуживать; после переключения Strata спрашивает, нужно ли снова запустить те же настройки. Неудачное обновление оставляет старый движок в использовании, а файлы моделей и сохраненные настройки остаются. strata components rollback возвращает к предыдущему движку.

Две настройки, которые нужно проверить при первом запуске

  1. Сэмплинг. В 0.2.11 конфигурация пакета без блока sampling следует карточке модели. Запросы с мышлением получают температуру 1.0, top_p 0.95 и top_k 20. Запросы без мышления получают 0.7, 0.8 и 20, с presence_penalty 1.5. Приоритет — запрос, затем настройки Чата в веб-интерфейсе, затем блок конфигурации, затем карточка. Температура 0 применяется только тогда, когда запрос или блок ее задает, и именно эти жадные пропуски попадали в петли повторения на этом чекпоинте. Если старая конфигурация пакета все еще содержит "sampling": {"temperature": 0}, замените его на пресет мышления из карточки.

  2. tool_call_recovery. Ключ находится в конфигурации запуска модели (strata-*.json). Он включен по умолчанию с 0.2.8, а в 0.2.7 и раньше был выключен. Заметки о движке Strata, ссылаясь на 1 462 хода агента, сообщают о 98,3% вызовов, прочитанных как задумано, с переключателем и 92,9% без него. Он принимает четыре формы вызова, чье имя было в запросе: тег <parameter=NAME>, JSON внутри <tool_call>, блок <function=NAME> без обертки <tool_call>, и второй вызов внутри одного <tool_call>. Недекларированное имя или сломанный JSON остаются текстом. На 0.2.7 и раньше установите "tool_call_recovery": true. Оставьте значение по умолчанию 0.2.11 включенным для агентной работы.

Держите сервер на localhost

Сервер привязан к localhost по умолчанию, и настройки доступа являются частью strata launch. Эндпоинты открывают доступ к модели и разговору на этой машине, и они не создавались для открытой сети. Когда другой машине нужен доступ, разместите аутентифицированный обратный прокси перед портом.

ss -ltnp | grep :8080    # подтвердите, что слушатель — 127.0.0.1, а не 0.0.0.0
curl -s http://127.0.0.1:8080/v1/models   # сервер отвечает на localhost

Карточки с 13 ГБ VRAM или меньше

STRATA_ROUTE_PRIOR=1.5 говорит маршрутизатору предпочитать экспертов, уже находящихся на карте. Заметки Strata для RTX 3060 12 ГБ, работающей с IQ3_XXS, сообщают о +15% в декодировании историй и +37% в декодировании кода против варианта с выключенным приоритетом, и меньше пройденных задач агента: в среднем 4,5 из 10 за 4 прогона против 5,6 за 7 прогонов с выключенным приоритетом. Версия 0.2.7 сама включила 1.5 для дискретных карт NVIDIA с 13 ГиБ или меньше. Версия 0.2.8 отключила это 29.10.2026, после появления повторений и более слабых длинных агентных сессий (проблема #4402). При unset-переменной 0.2.11 маршрутизирует так, как 0.2.6. Проект указывает приоритет на чаты и короткие ответы на карте 12 ГБ, и от длинных агентных прогонов.

Тестовый стенд: 64 ГБ настольный ПК, работающий с агентом

Замеренная машина:

Компонент Спецификация
CPU Intel Core Ultra 7 265 (20 ядер, DDR5-6400 двухканальный ≈ 102 ГБ/с)
GPU RTX 5090, 32 ГБ
ОЗУ 64 ГБ
ОС Ubuntu 26.04
Также работает Хост KVM для VM Hermes, IDE Cursor, браузер

С ISTA IQ3_XXS резидентный шард составляет 47 ГБ. Поскольку эксперты зафиксированы, для всего остального остается около 9 ГБ. VM Hermes — агентный стек в [боевой настройке Hermes](https://www.glukhov.org/ru/ai-systems/hermes/production-setup/ “Боевая настройка Hermes: профили, навыки и локальный агентный стек.”}) — плюс Cursor оставляет около 5 ГБ, чего недостаточно для page cache или кэша KV для длинной агентной сессии.

ISTA IQ3_S не помещается на эту машину как ежедневный настольный вариант. Резидентный шард 54,8 ГБ плюс отображенная таблица n-gram 28,8 ГБ занимают 64 ГБ. При работающем Cursor свободно остаются 3 ГБ, и VM Hermes некуда деваться.

Конфигурация Резидентный Свободная ОЗУ (только модель) Свободная ОЗУ (модель + VM + Cursor) Декодирование (замер) Вердикт по агентности
IQ3_XXS (3,00 бит/вес) 47 ГБ ~9 ГБ ~5 ГБ – Вызовы инструментов регулярно проваливаются; не ежедневный драйвер
IQ3_S (3,50 бит/вес) 54,8 ГБ + 28,8 ГБ mmap ~3 ГБ (только Cursor) – 100–130 ток/с Вообще нет запаса; непригодно

IQ3_S декодировал со скоростью 100–130 токенов/с, то же класс скорости, что сборка 27B на llama.cpp с MTP 3 в сравнении MTP Qwen 3.6. Пакет, который помещается в бюджет ОЗУ (IQ3_XXS), — это тот, что не соответствует формату вызова инструмента. Пакет, рекомендованный ISTA (IQ3_S), не оставляет места для остального на столе.

На IQ3_XXS модель испускала некорректные аргументы вызовов инструментов, выдумывала имена инструментов, которых не было в схеме, и переисправляла ту же команду три-пять раз после короткого блока мышления. Харнес рассматривает каждый промах как повторную попытку, поэтому сессия заполняется той же ошибкой. На этом оборудовании IQ3_XXS — не агентная модель.

Что сообщают в сообществе

Отчеты о скорости Qwen3.8-Flash-Next на Strata, из тредов проблем и заметок 0.2.11:

Конфигурация Результат
2× RTX 4090 6 553 промпт-ток/с, 271 декод-ток/с в однопотоке
RTX 5080 + 4060 Ti, 32 ГБ ОЗУ пиковые 200+ ток/с декодирования
12 ГБ VRAM + 32 ГБ ОЗУ, эксперты оффлоадятся на CPU ~65 ток/с; один комментарий при контексте 199K с q8 KV: 1 740 промпт-ток/с, ~21,5 декод-ток/с
RTX 5070 12 ГБ + 64 ГБ ОЗУ, IQ3_S 85–100 ток/с декодирования
Pro 6000 + 2× 3090, 256 ГБ ОЗУ, Unsloth 6-bit, контекст 160K Декодирование 70–80 → 150 ток/с после переключения с llama-server на Strata
Ноутбук с RTX 2060, 32 ГБ ОЗУ + 6 ГБ VRAM Q2_0 вообще работает
RTX 3060 12 ГБ, UD-IQ1_M, короткие промпты (заметки 0.2.11) 31–37 декод-ток/с, 18% экспертов на карте

Три режима отказа описаны для низкобитового Qwen3.8-Flash-Next в агентных нагрузках.

  1. Сломанное испускание вызовов инструментов, отслеживающее размер схемы. Проблема #1431 сообщает, что с 39 схемами функций (около 12K токенов) и системным промптом 6K, IQ3_XXS на Strata 0.1.40 производил пригодный ход примерно в 30–50% из более чем 20 контролируемых повторений. Модель либо испускала форму вызова инструмента, которую парсер не мог сопоставить — текст оказывался в content с finish_reason: stop — либо закрывала блок мышления и испускала конец последовательности без вызова и без ответа. Те же веса на llama.cpp парсили вызовы инструментов во всех 8+ последовательных прогонах. llama.cpp ограничивает испускание PEG-грамматикой и поднимает сломанный контент обратно в tool_calls. Обертка, чинившая текст постфактум, не смогла поднять процент пригодных ходов выше диапазона 30–50%, потому что починка выполняется после того, как токены уже выбраны.

  2. Ошибки конфигурации и недетерминированный путь эксперта. Проблема #2685 сообщает о RTX 5070, IQ3_S и 60 ГБ ОЗУ, с провалами вызовов инструментов через Strata: некорректные аргументы, галлюцинированные инструменты и петли повторных попыток, включая случаи после включения блока сэмплинга и tool_call_recovery. Та же квантизация через llama serve удалась в 5 из 5 прогонов того же харнеса. Автор отчета обнаружил, что идентичные сида расходились в пути эксперта MMQ во время prefill, и что отключение этого пути делало прогон бит-идентичными. Strata 0.1.44 выпустила фиксы детерминизма. Поздние отчеты все еще не показывают, что Strata соответствует llama.cpp на той же квантизации.

  3. Вызовы инструментов, оставшиеся внутри блока мышления. Проблема #804 сообщает, что полный вызов инструмента внутри незакрытого блока think возвращается как reasoning_content, с пустым content и без tool_calls, и цикл агента останавливается. Один пользователь насчитал примерно 1 из 100 ответов в течение примерно 1 300 реальных агентных ответов, используя Hermes с IQ3_XXS, IQ2_XS и сборками Coder.

Почему ниже Q4 ломаются агентные вызовы инструментов

Вызов инструмента должен соответствовать формату провода (wire format). При 3 битах эта модель на 125 млрд параметров промахивается по этому формату на некоторых ходах, и промахи растут с контекстом схемы инструментов. Большая схема требует больше от оперативной памяти, форматирующей вызов, и шум квантизации попадает именно на это форматирование. Чат-ходы это маскируют. Агентные ходы, состоящие в основном из вызовов инструментов, — нет.

То же самое сжатие наносит больше вреда, когда активных параметров мало. Сравнение локальных LLM для OpenCode замерило плотную модель 27B на IQ3_XXS с ошибкой около 5% на структурированной агентной задаче. МоЕ чекпоинты с низким числом активных параметров на похожей битовой ширине проваливались сильнее: 35B-A3B имел 64,2% ошибок на IQ3_S и 98,8% на IQ4_XS, а 122B-A10B имел 80% ошибок на IQ3_S и 90% на IQ3_XXS. Qwen3.8-Flash-Next активирует 6 млрд параметров на токен, поэтому 3-битный пакет ведет себя как малая модель с тяжелой квантизацией. Эти пропуски OpenCode показывают, что IQ3 и IQ4 не справляются со структурированной задачей для 35B-A3B и 122B-A10B; они не включают пропуск Q5 для Flash-Next. UD-IQ4_XS-v31 от Strata доступен для скачивания с 0.2.11, не имеет сравнения на агентных задачах в источниках, проверенных здесь, и не помещается в 64 ГБ.

Те же веса GSQ-RCO проваливаются, когда загружаются в llama.cpp и в Ollama. llama.cpp по-прежнему ограничивает испускание грамматикой и может поднять сломанный фрагмент обратно в tool_calls, поэтому клиент видит вызов, а не сломанную строку. Режим JSON в Strata, по заметкам о движке, — это подсказка со схемой плюс проверка после генерации, а не декодирование с ограничением грамматикой: плохой объект возвращает HTTP 502 с structured_output_failed. tool_call_recovery и более поздние выпуски чинят четыре формы, перечисленные выше. Они не меняют распределение, из которого модель сэмплирует, и именно поэтому обертка из проблемы #1431 не могла преодолеть скорость испускания.

Strata тратит ОЗУ, чтобы держать CPU и GPU в такте. На 64 ГБ самый большой пакет ISTA, который все еще оставляет место для рабочего стола и VM агента, — это IQ3_XXS, и этот пакет ниже порога испускания, измеренного здесь. IQ3_S уже декодирует в том же диапазоне, что модель 27B с MTP 3, поэтому ограничение для этого пакета — ОЗУ. Прогон llama.cpp с ленивой картой (lazy map) закрепил бы меньше ОЗУ и потерял бы скорость декодирования, которая делает Strata быстрее из двух на этой модели.

Вердикт

Qwen 2.8 Flash Next превосходит Qwen3.8-27B в агентных бенчмарках: DeepSWE 58,7 против 42,2, JobBench 55,7 против 33,4 и Toolathlon 73,5 против 67,1. Многоступенчатая работа заметно более компетентна. Вычисления на токен ближе к малой модели, чем к модели на 125 млрд.

Квантизации ниже Q4 не обеспечивают надежного испускания вызовов инструментов для агентной работы, проваливаясь с частотой, порождающей петли повторных попыток как на Strata, так и на llama.cpp. Производительность Q4 еще не доказана через контролируемое сравнение на агентных бенчмарках. Кванты класса Q5 — это доказанный пол для надежной агентной работы; пакет Unsloth UD-Q5_K_XL существует, но не имеет опубликованных бенчмарков. То же правило структурированного вывода ниже Q4 применяется при отборе abliterated-сборок Qwen в Как выбрать несцензурный LLM.

Mac Studio с M5 Max и 128 ГБ унифицированной памяти может вместить сборку MLX на 105 ГБ или пакет Q4 с достаточным запасом для агентного стека. Архитектура QFN была спроектирована для этой модели оффлоада.

Я продолжу использовать в моей текущей настройке модель NVFP4 27B — 17 ГБ на RTX 5090 — с MTP 3. Она достигает 100+ токенов/с с надежными вызовами инструментов и без конкуренции за ОЗУ. Я вернусь к QFN, когда кванты класса Q4 будут прогнаны по агентным задачам, когда восстановление испускания в Strata созреет, или когда оборудование будет обновлено.

Ссылки

Полезные ссылки

  • Выбор лучшего LLM для Ollama на GPU с 16 ГБ VRAM — альтернативы с плотными моделями, когда карта является ограничением.
  • [Шпаргалка по Ollama](https://www.glukhov.org/ru/llm-hosting/ollama/ollama-cheatsheet/ “Шпаргалка по CLI Ollama: serve, run, ps и управление моделями.”}) — другой локальный сервер, в который можно импортировать те же GGUF.

Подписаться

Получайте новые материалы про системы, инфраструктуру и AI engineering.