Запуск Qwen3.8-Flash-Next локально с помощью Strata: быстрое начало с 64 ГБ
125B MoE на одном потребительском GPU — и где ломается 3-бит
Qwen3.8-Flash-Next (QFN) имеет общее количество параметров 125 млрд, 6 млрд активных параметров на токен и нативное контекстное окно 256K. Функция мышления (thinking) включена по умолчанию, а модель демонстрирует наивысшие результаты в бенчмарках агентного кодирования в своем классе локальных моделей.
В этой статье описан процесс запуска 3-битной квантизации QFN на настольном компьютере с 64 ГБ ОЗУ и видеокартой RTX 5090 с использованием Strata, а также задокументировано, почему квантизации ниже Q4 не обеспечивают надежных вызовов инструментов для агентных задач.

Команды установки, объем ОЗУ, занимаемый каждым пакетом квантизации, и ошибки вызовов инструментов на 64 ГБ настольном ПК приведены ниже. Данные о скорости и ошибках объединяют пропуски на этой машине — RTX 5090, 64 ГБ ОЗУ, Ubuntu 26.04 — с отчетами с трекера Strata и заметками о выпуске версии 0.2.11.
Команды и значения по умолчанию движка были проверены 06.11.2026 для Strata 0.2.11, когда у репозитория было 40 836 звезд, а пакеты движка — версия 0.1.57. Место этого рантайма по отношению к Ollama, llama.cpp и vLLM рассматривается в гайде по хостингу LLM.
Что такое Strata
Движок в этом быстром старте — Niko1221/Strata, с лицензией MIT. Другой проект, статья OSDI 2026 о иерархическом кэшировании KV для SGLang, использует то же название. Strata построен на базе llama.cpp и ggml, и в репозитории присутствует статья в docs/paper/Strata-Paper.pdf. Он запускает Qwen3.8-Flash-Next на одном потребительском GPU, системной ОЗУ и SSD. Тот же движок обслуживает также Qwen3.6-35B и DeepSeek V4.1-Flash.
Qwen 3.8 Flash Next имеет 24 576 маршрутизированных экспертов в 48 слоях; каждый токен активирует 10 экспертов (всего 6 млрд активных параметров). Strata распределяет модель по трем уровням памяти, а не требует, чтобы она целиком помещалась в один.
| Уровень | Содержит | Функция |
|---|---|---|
| GPU (VRAM) | Внимательность, миксеры DeltaNet, веса с гейтами-остатками, маршрутизаторы, общие эксперты, выходная головка, слой черновика MTP, кэш KV (с 64K: самая часто читаемая часть; остальное стримится из ОЗУ), плюс кэш экспертов | Все, что выполняется на токен; кэш экспертов заполняет оставшуюся VRAM наиболее часто используемыми экспертами и адаптируется к разговору по ходу выполнения |
| ОЗУ | Все 24 576 экспертов, зафиксированные (pinned) | CPU вычисляет экспертов, которых нет на GPU, на месте, одновременно с работой GPU над закэшированными (ядра AVX-512/AVX2, ggml для i-quants) |
| SSD | Таблица встраиваний n-gram на 28,8 ГБ | Чтение нескольких строк на токен через page cache ОС |
Блок параметров n-gram на 51 млрд служит поисковой таблицей из 20 млн записей, индексируемой по биграммам и триграммам. Поскольку это поиск, а не матричное умножение, он может размещаться на SSD с минимальными затратами во время выполнения.
Вместимость VRAM определяет ось масштабирования. Каждый дополнительный гигабайт VRAM хранит примерно 700 экспертов, и каждый эксперт, закэшированный на GPU, снижает вычисления на CPU. Медленная видеокарта с большим объемом VRAM превосходит быструю с меньшим.
Вместимость ОЗУ является жестким ограничением, так как все эксперты должны быть зафиксированы (pinned) для одновременных вычислений на CPU и GPU. Strata не поддерживает ленивое отображение памяти на диск. Размер загрузки и использование ОЗУ почти идентичны для QFN.
Как формируется скорость декодирования
Три механизма обеспечивают скорость декодирования.
-
Многотоковый прогноз. Чекпоинт включает один слой MTP, обученный для многотокенных черновиков. Strata составляет черновики до 3 токенов и проверяет их за один проход по всем 48 слоям — цикл «черновик-проверка» в гайде по спекулятивному декодированию. Проект измеряет среднее принятие на уровне 2,4–3,2 токена за проход, что заявляется как ускорение декодирования в 1,6–1,8 раза при том же результате.
-
Поиск по промпту. Сервер извлекает до 5 токенов-черновиков из предыдущих копий контекста, когда модель повторяет его, как в редактировании кода или цитировании. Проект сообщает, что редактирование кода становится на 6–11% быстрее, а другой текст не меняется.
-
Разбитый prefill. Промпты поступают блоками до 8 192 токенов, и эксперты следующего слоя перемещаются по PCIe, пока выполняется внимание текущего слоя. Проект указывает, что обработка длинных документов и кодовых баз превышает 1 000 токенов/с, а следующий запрос начинается в течение нескольких секунд, поскольку состояние разговора остается в памяти.
Сервер поставляется с локальным чат-интерфейсом в виде настольного приложения или в терминале, а также с эндпоинтами, совместимыми с OpenAI и Anthropic, на localhost. Claude Code, Codex CLI, OpenCode, Hermes Agent и OpenClaw подключаются через strata connect. Аппаратное обеспечение, указанное проектом: NVIDIA RTX 20/30/40/50 серии (пакеты движка CUDA 13 требуют драйвер 580 или новее), AMD Radeon на HIP, Intel Arc на Linux, Apple Silicon и AMD Strix Halo. Выпуск 0.2.11 — это Strata-0.2.11-linux-x86_64.AppImage для настольного приложения; путь терминала, описанный ниже, является тем, через который проходит этот быстрый старт.
Бенчмарки QFN против локальных альтернатив
Карточка модели от Alibaba сравнивает Flash-Next с Qwen3.8-27B, DeepSeek-V4-Flash (чекпоинт 0731) и Claude Opus 4.6 (Max).
| QFN | Qwen3.8-27B | DeepSeek-V4-Flash | Claude Opus 4.6 (Max) | |
|---|---|---|---|---|
| Всего / активных параметров | 125 млрд / 6 млрд | 27 млрд / 27 млрд | 284 млрд / 13 млрд | – |
| Параметры встраивания N-gram | 51 млрд | – | – | – |
| DeepSWE 1.1 (агентное кодирование) | 58,7 | 42,2 | 54,4 | – |
| SWE-bench Pro | 62,5 | 61,7 | 56,0 | 53,4 |
| SWE-bench Multilingual | 81,0 | 73,8 | – | 77,5 |
| Toolathlon Verified (использование инструментов) | 73,5 | 67,1 | 70,3 | – |
| JobBench (агентный офис) | 55,7 | 33,4 | 41,3 | 36,6 |
| CoWorkBench | 73,9 | 70,7 | 45,1 | 68,2 |
| GPQA Diamond | 91,7 | 89,2 | 90,8 | 91,3 |
| LiveCodeBench v6 | 91,9 | 90,3 | 90,6 | 88,8 |
Строки агентного кодирования на этой карточке использовали температуру 1.0, top_p 0.95 и окно 256K. DeepSWE сообщает более высокий результат из харнесов Claude Code и mini-SWE-agent, а карточка указывает, что более высокий балл Flash-Next получен на mini-SWE-agent. SWE-bench Pro перезапустил базовые варианты на исправленном наборе задач; ячейка Claude Opus 4.6 — это опубликованный вендором балл, а остальные ячейки — это Claude Code.
Две строки на той же карточке идут в другую сторону. NL2Repo-Bench составляет 48,1 для Flash-Next и 54,2 для DeepSeek-V4-Flash. HLE, оцениваемый GPT-4o, составляет 35,9 против Claude Opus 4.6 (Max) на уровне 40,0.
Для агентной работы значениями по умолчанию на карточке являются включенный preserve_thinking, чтобы трассировка рассуждений сохранялась между ходами, и reasoning_effort на уровне xhigh. Другие уровни — medium и low. Страница семейства Qwen 4 отслеживает то, что Alibaba подтвердила об этой линейке, включая Лицензию сообщества Qwen 1.0 для этих весов. Таблица выше — это та часть, которую можно измерить сегодня.
Пакеты квантизации и размеры
ISTA-DASLab GSQ-RCO
GGUF от ISTA-DASLab GSQ-RCO используют нелинейную квантизацию. GSQ — это низкобитовая скалярная квантизация на тензор, а RCO назначает тип на тензор в пределах бюджетного размера. Метод тратит почти все сжатие на маршрутизированных экспертах, которые составляют 95% искомых весов. Каждая сборка — это два шарда. Второй — это таблица n-gram примерно с 4,5 битами на вес, и его можно отображать с диска.
| Сборка | Ср. битов/вес | Резидентный шард | Шард N-gram | Всего | Примечания |
|---|---|---|---|---|---|
| Q2_0 | 2,40 | 37,6 ГБ | 28,8 ГБ | 66,4 ГБ | Сборка для скорости: избегает форматов таблиц поиска; 367 промпт-ток/с, 93,8 декод-ток/с, ср. латентность 6,7 с (против 12,7 с для IQ2_XS при почти том же размере) |
| IQ2_XS | 2,50 | 39,2 ГБ | 28,8 ГБ | 68,0 ГБ | Наименьший при равном качестве |
| IQ3_XXS | 3,00 | 47,0 ГБ | 28,8 ГБ | 75,8 ГБ | Вариант для тесной памяти; совпадает с базовой моделью на AIME25, теряет ~1,5 балла на GPQA-Diamond |
| IQ3_S | 3,50 | 54,8 ГБ | 28,8 ГБ | 83,6 ГБ | Рекомендация ISTA: совпадает или превосходит базовую модель на каждой задаче в их харнесе (GPQA-Diamond 92,93 против 91,92) |
Эти показатели GPQA — из харнеса ISTA, а не 91,7 на карточке Alibaba. Вариант Coder сохраняет 256 из 512 маршрутизированных экспертов на слой, занимая 58,4 ГБ и имея эффективную плотность 1,89 бита на вес. Визуальный проектор BF16 на 0,91 ГБ — это мультимодальное дополнение. Линейка ISTA заканчивается на IQ3_S; у нее нет сборки Q4.
Пакеты Unsloth в Strata 0.2.11
04.11.2026 Unsloth повторно выложили свои GGUF для Qwen3.8-Flash-Next как Dynamic v3.1. Заметки о выпуске 0.2.11 говорят, что Strata может скачать, подготовить и запустить семь из них из приложения, из strata launch --family unsloth или из папки, которую у вас уже есть. Каждый файл проверяется по размеру и SHA-256 против ревизии Unsloth d9620119. Последний файл каждого набора — это таблица на 28,8 ГБ на токен. Наборы, разделяющие таблицу, разделяют файл: UD-IQ1_M с UD-IQ2_XS, и UD-IQ3_XXS с UD-IQ4_XS-v31.
| Имя в Strata | Загрузка | Файлы |
|---|---|---|
| UD-IQ1_M | 68,0 ГБ | 3 |
| UD-Q2_0 | 70,6 ГБ | 3 |
| UD-IQ2_XS | 75,8 ГБ | 3 |
| UD-Q2_K_XL | 79,6 ГБ | 4 |
| UD-IQ3_XXS | 83,6 ГБ | 4 |
| UD-Q3_K_XL | 89,5 ГБ | 4 |
| UD-IQ4_XS-v31 | 93,7 ГБ | 4 |
UD-IQ4_XS-v31 — это другой файл, чем UD-IQ4_XS, который Strata предлагал ранее: другие типы тензоров, четыре файла вместо трех. UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL и Q8_0 остаются на файлах от 30.09.2026. UD-Q4_K_XL от 04.11 — это те же веса в четырехфайловом разрезе, и Strata принимает этот разрез, если у вас он уже есть. UD-IQ1_S не загружается — один слой смешивает два формата экспертов — поэтому UD-IQ1_M — это 1-битный выбор.
UD-IQ4_XS-v31 использует формат экспертов Q5_0 в 33 слоях. Те же заметки говорят, что математика Q5_0 в Strata отклоняется на 1,2–1,3% от точного результата, против 2,6–3,0% для формулы llama.cpp на этих тензорах. На Mac приложение переписывает эксперты в один файл GPU перед первым запуском, поэтому бюджет диска — это загрузка плюс этот файл плюс несколько гигабайт (примерно 115 ГБ для UD-IQ1_M).
Если таблица на 28,8 ГБ остается отображенной, остальная часть UD-IQ4_XS-v31 составляет около 64,9 ГБ до кэша KV, что уже превышает 64 ГБ машины по правилам фиксации (pinning) Strata. Остаток UD-IQ1_M составляет около 39,2 ГБ. Этот файл может поместиться там, где IQ3_S не может, и это 1-битный пакет, еще дальше от поведения вызовов инструментов, измеренного ниже при 3 битах.
Быстрый старт: Установка, запуск и настройка первого запуска
Для настольного Linux нужна карта серии RTX 20/30/40/50 или другой GPU, указанный проектом, достаточно ОЗУ для выбранного пакета плюс запас под кэш KV, и место на SSD для загрузки. Пакеты движка CUDA 13 требуют драйвер 580 или новее.
Установка в терминале:
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch
strata launch спрашивает модель, квантизацию, контекст, папку хранения и настройки доступа, скачивает движок для вашей карты, запускает сервер и показывает монитор со скоростью, памятью и данными запросов. Эндпоинт по умолчанию — http://127.0.0.1:8080.
Чтобы увидеть, что поместится, до загрузки в 76 ГБ, или чтобы начать без промптов:
strata launch --family qwen --model q2_0 --plan # сухой прогон: чего не хватает, что помещается
strata launch --family qwen --model q2_0 --yes --no-tui # запуск в фоне
strata launch --status
strata connect # печатает конфигурацию для Claude Code / OpenCode / Hermes / OpenClaw / ...
strata launch --stop
Эти флаги --family qwen --model q2_0 — это сухой прогон, использованный для сборки ISTA Q2_0 на Ubuntu 26.04. Пакеты Unsloth используют --family unsloth и имя из таблицы выше. strata connect печатает блок провайдера для каждого инструмента. Обе формы API используют URL, совместимый с OpenAI (http://127.0.0.1:8080/v1), и имя модели, которое печатает запуск. Любой клиент, принимающий кастомный эндпоинт, совместимый с OpenAI, включая Cursor, использует эту пару.
Обновление существующей установки
Заметки об установке дают три команды для Терминала, который уже находится на машине. strata update --check читает подписанную ленту релизов и сообщает, что изменится. strata update скачивает движок для этой машины и компонент Control, и переключается только после тестового запуска. strata --version печатает версию после этого. У приложения, Control и движка отдельные номера версий, поэтому все три могут отличаться.
strata update --check
strata update
strata --version
При загруженной модели strata update называет ее и спрашивает перед остановкой. Новый движок скачивается, пока эта модель продолжает обслуживать; после переключения Strata спрашивает, нужно ли снова запустить те же настройки. Неудачное обновление оставляет старый движок в использовании, а файлы моделей и сохраненные настройки остаются. strata components rollback возвращает к предыдущему движку.
Две настройки, которые нужно проверить при первом запуске
-
Сэмплинг. В 0.2.11 конфигурация пакета без блока
samplingследует карточке модели. Запросы с мышлением получают температуру 1.0, top_p 0.95 и top_k 20. Запросы без мышления получают 0.7, 0.8 и 20, с presence_penalty 1.5. Приоритет — запрос, затем настройки Чата в веб-интерфейсе, затем блок конфигурации, затем карточка. Температура 0 применяется только тогда, когда запрос или блок ее задает, и именно эти жадные пропуски попадали в петли повторения на этом чекпоинте. Если старая конфигурация пакета все еще содержит"sampling": {"temperature": 0}, замените его на пресет мышления из карточки. -
tool_call_recovery. Ключ находится в конфигурации запуска модели (strata-*.json). Он включен по умолчанию с 0.2.8, а в 0.2.7 и раньше был выключен. Заметки о движке Strata, ссылаясь на 1 462 хода агента, сообщают о 98,3% вызовов, прочитанных как задумано, с переключателем и 92,9% без него. Он принимает четыре формы вызова, чье имя было в запросе: тег<parameter=NAME>, JSON внутри<tool_call>, блок<function=NAME>без обертки<tool_call>, и второй вызов внутри одного<tool_call>. Недекларированное имя или сломанный JSON остаются текстом. На 0.2.7 и раньше установите"tool_call_recovery": true. Оставьте значение по умолчанию 0.2.11 включенным для агентной работы.
Держите сервер на localhost
Сервер привязан к localhost по умолчанию, и настройки доступа являются частью strata launch. Эндпоинты открывают доступ к модели и разговору на этой машине, и они не создавались для открытой сети. Когда другой машине нужен доступ, разместите аутентифицированный обратный прокси перед портом.
ss -ltnp | grep :8080 # подтвердите, что слушатель — 127.0.0.1, а не 0.0.0.0
curl -s http://127.0.0.1:8080/v1/models # сервер отвечает на localhost
Карточки с 13 ГБ VRAM или меньше
STRATA_ROUTE_PRIOR=1.5 говорит маршрутизатору предпочитать экспертов, уже находящихся на карте. Заметки Strata для RTX 3060 12 ГБ, работающей с IQ3_XXS, сообщают о +15% в декодировании историй и +37% в декодировании кода против варианта с выключенным приоритетом, и меньше пройденных задач агента: в среднем 4,5 из 10 за 4 прогона против 5,6 за 7 прогонов с выключенным приоритетом. Версия 0.2.7 сама включила 1.5 для дискретных карт NVIDIA с 13 ГиБ или меньше. Версия 0.2.8 отключила это 29.10.2026, после появления повторений и более слабых длинных агентных сессий (проблема #4402). При unset-переменной 0.2.11 маршрутизирует так, как 0.2.6. Проект указывает приоритет на чаты и короткие ответы на карте 12 ГБ, и от длинных агентных прогонов.
Тестовый стенд: 64 ГБ настольный ПК, работающий с агентом
Замеренная машина:
| Компонент | Спецификация |
|---|---|
| CPU | Intel Core Ultra 7 265 (20 ядер, DDR5-6400 двухканальный ≈ 102 ГБ/с) |
| GPU | RTX 5090, 32 ГБ |
| ОЗУ | 64 ГБ |
| ОС | Ubuntu 26.04 |
| Также работает | Хост KVM для VM Hermes, IDE Cursor, браузер |
С ISTA IQ3_XXS резидентный шард составляет 47 ГБ. Поскольку эксперты зафиксированы, для всего остального остается около 9 ГБ. VM Hermes — агентный стек в [боевой настройке Hermes](https://www.glukhov.org/ru/ai-systems/hermes/production-setup/ “Боевая настройка Hermes: профили, навыки и локальный агентный стек.”}) — плюс Cursor оставляет около 5 ГБ, чего недостаточно для page cache или кэша KV для длинной агентной сессии.
ISTA IQ3_S не помещается на эту машину как ежедневный настольный вариант. Резидентный шард 54,8 ГБ плюс отображенная таблица n-gram 28,8 ГБ занимают 64 ГБ. При работающем Cursor свободно остаются 3 ГБ, и VM Hermes некуда деваться.
| Конфигурация | Резидентный | Свободная ОЗУ (только модель) | Свободная ОЗУ (модель + VM + Cursor) | Декодирование (замер) | Вердикт по агентности |
|---|---|---|---|---|---|
| IQ3_XXS (3,00 бит/вес) | 47 ГБ | ~9 ГБ | ~5 ГБ | – | Вызовы инструментов регулярно проваливаются; не ежедневный драйвер |
| IQ3_S (3,50 бит/вес) | 54,8 ГБ + 28,8 ГБ mmap | ~3 ГБ (только Cursor) | – | 100–130 ток/с | Вообще нет запаса; непригодно |
IQ3_S декодировал со скоростью 100–130 токенов/с, то же класс скорости, что сборка 27B на llama.cpp с MTP 3 в сравнении MTP Qwen 3.6. Пакет, который помещается в бюджет ОЗУ (IQ3_XXS), — это тот, что не соответствует формату вызова инструмента. Пакет, рекомендованный ISTA (IQ3_S), не оставляет места для остального на столе.
На IQ3_XXS модель испускала некорректные аргументы вызовов инструментов, выдумывала имена инструментов, которых не было в схеме, и переисправляла ту же команду три-пять раз после короткого блока мышления. Харнес рассматривает каждый промах как повторную попытку, поэтому сессия заполняется той же ошибкой. На этом оборудовании IQ3_XXS — не агентная модель.
Что сообщают в сообществе
Отчеты о скорости Qwen3.8-Flash-Next на Strata, из тредов проблем и заметок 0.2.11:
| Конфигурация | Результат |
|---|---|
| 2× RTX 4090 | 6 553 промпт-ток/с, 271 декод-ток/с в однопотоке |
| RTX 5080 + 4060 Ti, 32 ГБ ОЗУ | пиковые 200+ ток/с декодирования |
| 12 ГБ VRAM + 32 ГБ ОЗУ, эксперты оффлоадятся на CPU | ~65 ток/с; один комментарий при контексте 199K с q8 KV: 1 740 промпт-ток/с, ~21,5 декод-ток/с |
| RTX 5070 12 ГБ + 64 ГБ ОЗУ, IQ3_S | 85–100 ток/с декодирования |
| Pro 6000 + 2× 3090, 256 ГБ ОЗУ, Unsloth 6-bit, контекст 160K | Декодирование 70–80 → 150 ток/с после переключения с llama-server на Strata |
| Ноутбук с RTX 2060, 32 ГБ ОЗУ + 6 ГБ VRAM | Q2_0 вообще работает |
| RTX 3060 12 ГБ, UD-IQ1_M, короткие промпты (заметки 0.2.11) | 31–37 декод-ток/с, 18% экспертов на карте |
Три режима отказа описаны для низкобитового Qwen3.8-Flash-Next в агентных нагрузках.
-
Сломанное испускание вызовов инструментов, отслеживающее размер схемы. Проблема #1431 сообщает, что с 39 схемами функций (около 12K токенов) и системным промптом 6K, IQ3_XXS на Strata 0.1.40 производил пригодный ход примерно в 30–50% из более чем 20 контролируемых повторений. Модель либо испускала форму вызова инструмента, которую парсер не мог сопоставить — текст оказывался в
contentсfinish_reason: stop— либо закрывала блок мышления и испускала конец последовательности без вызова и без ответа. Те же веса на llama.cpp парсили вызовы инструментов во всех 8+ последовательных прогонах. llama.cpp ограничивает испускание PEG-грамматикой и поднимает сломанный контент обратно вtool_calls. Обертка, чинившая текст постфактум, не смогла поднять процент пригодных ходов выше диапазона 30–50%, потому что починка выполняется после того, как токены уже выбраны. -
Ошибки конфигурации и недетерминированный путь эксперта. Проблема #2685 сообщает о RTX 5070, IQ3_S и 60 ГБ ОЗУ, с провалами вызовов инструментов через Strata: некорректные аргументы, галлюцинированные инструменты и петли повторных попыток, включая случаи после включения блока сэмплинга и
tool_call_recovery. Та же квантизация черезllama serveудалась в 5 из 5 прогонов того же харнеса. Автор отчета обнаружил, что идентичные сида расходились в пути эксперта MMQ во время prefill, и что отключение этого пути делало прогон бит-идентичными. Strata 0.1.44 выпустила фиксы детерминизма. Поздние отчеты все еще не показывают, что Strata соответствует llama.cpp на той же квантизации. -
Вызовы инструментов, оставшиеся внутри блока мышления. Проблема #804 сообщает, что полный вызов инструмента внутри незакрытого блока
thinkвозвращается какreasoning_content, с пустымcontentи безtool_calls, и цикл агента останавливается. Один пользователь насчитал примерно 1 из 100 ответов в течение примерно 1 300 реальных агентных ответов, используя Hermes с IQ3_XXS, IQ2_XS и сборками Coder.
Почему ниже Q4 ломаются агентные вызовы инструментов
Вызов инструмента должен соответствовать формату провода (wire format). При 3 битах эта модель на 125 млрд параметров промахивается по этому формату на некоторых ходах, и промахи растут с контекстом схемы инструментов. Большая схема требует больше от оперативной памяти, форматирующей вызов, и шум квантизации попадает именно на это форматирование. Чат-ходы это маскируют. Агентные ходы, состоящие в основном из вызовов инструментов, — нет.
То же самое сжатие наносит больше вреда, когда активных параметров мало. Сравнение локальных LLM для OpenCode замерило плотную модель 27B на IQ3_XXS с ошибкой около 5% на структурированной агентной задаче. МоЕ чекпоинты с низким числом активных параметров на похожей битовой ширине проваливались сильнее: 35B-A3B имел 64,2% ошибок на IQ3_S и 98,8% на IQ4_XS, а 122B-A10B имел 80% ошибок на IQ3_S и 90% на IQ3_XXS. Qwen3.8-Flash-Next активирует 6 млрд параметров на токен, поэтому 3-битный пакет ведет себя как малая модель с тяжелой квантизацией. Эти пропуски OpenCode показывают, что IQ3 и IQ4 не справляются со структурированной задачей для 35B-A3B и 122B-A10B; они не включают пропуск Q5 для Flash-Next. UD-IQ4_XS-v31 от Strata доступен для скачивания с 0.2.11, не имеет сравнения на агентных задачах в источниках, проверенных здесь, и не помещается в 64 ГБ.
Те же веса GSQ-RCO проваливаются, когда загружаются в llama.cpp и в Ollama. llama.cpp по-прежнему ограничивает испускание грамматикой и может поднять сломанный фрагмент обратно в tool_calls, поэтому клиент видит вызов, а не сломанную строку. Режим JSON в Strata, по заметкам о движке, — это подсказка со схемой плюс проверка после генерации, а не декодирование с ограничением грамматикой: плохой объект возвращает HTTP 502 с structured_output_failed. tool_call_recovery и более поздние выпуски чинят четыре формы, перечисленные выше. Они не меняют распределение, из которого модель сэмплирует, и именно поэтому обертка из проблемы #1431 не могла преодолеть скорость испускания.
Strata тратит ОЗУ, чтобы держать CPU и GPU в такте. На 64 ГБ самый большой пакет ISTA, который все еще оставляет место для рабочего стола и VM агента, — это IQ3_XXS, и этот пакет ниже порога испускания, измеренного здесь. IQ3_S уже декодирует в том же диапазоне, что модель 27B с MTP 3, поэтому ограничение для этого пакета — ОЗУ. Прогон llama.cpp с ленивой картой (lazy map) закрепил бы меньше ОЗУ и потерял бы скорость декодирования, которая делает Strata быстрее из двух на этой модели.
Вердикт
Qwen 2.8 Flash Next превосходит Qwen3.8-27B в агентных бенчмарках: DeepSWE 58,7 против 42,2, JobBench 55,7 против 33,4 и Toolathlon 73,5 против 67,1. Многоступенчатая работа заметно более компетентна. Вычисления на токен ближе к малой модели, чем к модели на 125 млрд.
Квантизации ниже Q4 не обеспечивают надежного испускания вызовов инструментов для агентной работы, проваливаясь с частотой, порождающей петли повторных попыток как на Strata, так и на llama.cpp. Производительность Q4 еще не доказана через контролируемое сравнение на агентных бенчмарках. Кванты класса Q5 — это доказанный пол для надежной агентной работы; пакет Unsloth UD-Q5_K_XL существует, но не имеет опубликованных бенчмарков. То же правило структурированного вывода ниже Q4 применяется при отборе abliterated-сборок Qwen в Как выбрать несцензурный LLM.
Mac Studio с M5 Max и 128 ГБ унифицированной памяти может вместить сборку MLX на 105 ГБ или пакет Q4 с достаточным запасом для агентного стека. Архитектура QFN была спроектирована для этой модели оффлоада.
Я продолжу использовать в моей текущей настройке модель NVFP4 27B — 17 ГБ на RTX 5090 — с MTP 3. Она достигает 100+ токенов/с с надежными вызовами инструментов и без конкуренции за ОЗУ. Я вернусь к QFN, когда кванты класса Q4 будут прогнаны по агентным задачам, когда восстановление испускания в Strata созреет, или когда оборудование будет обновлено.
Ссылки
- Niko1221/Strata — инференс-движок в этой статье. Статья OSDI 2026 об иерархическом KV для SGLang — это другой проект с тем же именем.
- Заметки о выпуске Strata 0.2.11 — пакеты Unsloth Dynamic v3.1, математика Q5_0 и скорости коротких промптов, процитированные выше.
- Заметки о движке (
docs/DETAILS.md) — приоритет сэмплинга,tool_call_recoveryи измерения route-prior. - Заметки об установке, Обновление —
strata update --check,strata updateиstrata --version. - Qwen/Qwen3.8-Flash-Next — архитектура, пресеты сэмплинга и таблица бенчмарков.
- ISTA-DASLab Qwen3.8-Flash-Next GSQ-RCO GGUFs — сборки Q2 и IQ3 в тестовом стенде.
- Проблема #1431, проблема #2685, проблема #804 и проблема #4402 — отчеты об ошибках в разделах сообщества и малых карт.
Полезные ссылки
- Выбор лучшего LLM для Ollama на GPU с 16 ГБ VRAM — альтернативы с плотными моделями, когда карта является ограничением.
- [Шпаргалка по Ollama](https://www.glukhov.org/ru/llm-hosting/ollama/ollama-cheatsheet/ “Шпаргалка по CLI Ollama: serve, run, ps и управление моделями.”}) — другой локальный сервер, в который можно импортировать те же GGUF.