Что дальше после LLM: Mamba, диффузия и world models

Хайп вокруг ИИ подчиняется определённому ритму: примерно раз в три года архитектура, на которую все делают ставку, вытесняется чем-то более новым. Смена парадигмы уже начинается в исследовательских лабораториях.

Далее идёт обзор самых сильных претендентов на смену трансформеру, а также доказательств того, что этот переход уже начался. Сценарий повторяется: доминирующая архитектура, барьер, который невозможно преодолеть с её помощью, и новый дизайн, обходящий этот барьер.

В этой статье мы разберём четыре ограничения, сжимающие кольцо вокруг трансформеров, три альтернативные архитектуры и то, что уже говорят нам гибридные системы, находящиеся в промышленной эксплуатации. Цель — дать практичное понимание для инженеров, определяющих архитектуру решений на 2027 год и дальше, а не строить прогнозы: только факты и доказательства, доступные на 2026 год.

Паттерн: трёхлетний цикл прорывов в ИИ

Каждые несколько лет центр тяжести в сфере ИИ смещается:

Трансформеры появились примерно в 2017 году и сделали RNN и CNN похожими на древние артефакты. Затем диффузионные модели захватили нишу генерации изображений в период с 2020 по 2022 год. А LLMs (большие языковые модели) взорвали рынок во всех сферах, начав с GPT-3 и ChatGPT в 2022 году.

Согласно этой закономерности, мы должны подходить к новому поворотному моменту. Он уже происходит — просто не там, где вы ожидали. Не в соцсетях и не в пресс-релизах, а в исследовательских лабораториях.

Ян ЛеКюн потратил 2025 год на аргументацию о том, что авто-регрессионные LLMs фундаментально ограничены. «Нам нужны мировые модели, а не предсказатели слов», — говорил он с трибун конференции за конференцией. В то же время его команда опубликовала серию статей о Joint Embedding Predictive Architecture (JEPA — архитектуре совместного эмбеддинг-предсказания) — сначала для изображений, затем для видео, а в сентябре 2025 года — для языка.

Подтверждающие доказательства последних двенадцати месяцев необычно конкретны:

• Модели пространственного состояния, такие как Mamba, обрабатывают контексты в миллионы токенов с линейной масштабированием — то, что трансформеры не могут сделать из-за квадратной функции внимания.
• Google анонсировала Gemini Diffusion, обещая генерацию текста в 10 раз быстрее.
• NVIDIA выпустила Nemotron 3 с интегрированными слоями Mamba-2.
• Китайская Qwen3.5 вышла в эксплуатацию, используя Gated DeltaNets.
• В декабре 2025 года появилась VL-JEPA — модель зрительно-языкового взаимодействия с параметрами, вдвое меньше, чем у конкурентов, но показывающая лучшие результаты.

Почему трансформерам подходит конец

Трансформеры великолепны в том, что они делают. Но четыре проблемы сжимают кольцо вокруг них, и никакое масштабирование их не решит.

Квадратное внимание ломается на длинных контекстах

Самовнимание означает, что каждый токен общается со всеми остальными токенами — сложность O(n²). Удвойте контекст, и вы вчетверо увеличите вычисления. На 10 миллионах токенов математика просто ломается. Можно бросить в это больше GPU, но вы боретесь с арифметикой.

Данные для обучения заканчиваются

LLMs обучаются на текстах из интернета, и к 2026 году большая часть их уже скрапнулась. Книги, Википедия, Reddit, GitHub — всё поглощено. Синтетические данные звучат как решение, пока вы не осознаете, что модели, обученные на сгенерированном ИИ тексте, деградируют от поколения к поколению: они учатся на артефактах и смещениях самого процесса генерации. Законы масштабирования, которые двигали всё с 2020 по 2024 год, упираются в убывающую отдачу.

Энергия и стоимость — твёрдый потолок

Сейчас передовые модели стоят десятки или сотни миллионов долларов на обучение. Обслуживание миллиардов запросов в день сжигает огромные вычислительные мощности. ЦОД ИИ требуют гигаوات мощности, а производственные мощности по генерации электроэнергии становятся узким местом. Сэм Альтман признал в 2024 году, что стоимость вычислений ограничивает всё — и с тех пор ничего не изменилось.

Если ограничение состоит в энергии, ответ может прийти как со стороны модели, так и со стороны кремния. Мои заметки об оптимизации затрат для LLM-систем и о специализированных чипах для инференса LLM охватывают каждую сторону этого компромисса.

Совпадение паттернов — это не понимание

LLMs — это совпадатели паттернов в масштабе, предсказывающие следующий токен на основе тренировочных данных. Они превосходны в этом, конечно, — но они не рассуждают и не понимают причинно-следственные связи в физическом мире. Если вы хотите ИИ, который может планировать, симулировать или по-настоящему адаптироваться к новым средам, предсказание токенов не поможет вам этого достичь.

Модели пространственного состояния: линейное масштабирование со сжатой памятью

Модели пространственного состояния (SSM), такие как Mamba и Gated DeltaNet, берут совершенно другой подход к последовательностям. Вместо того, чтобы обращать внимание на все предыдущие токены, они поддерживают сжатое внутреннее состояние, резюмирующее историю, — линейное масштабирование O(n) вместо квадратного, с постоянной памятью на токен при инференсе независимо от длины последовательности.

Механизм, стоящий за этой эффективностью, стоит понять, потому что он объясняет и скорость, и компромисс. Классические модели пространственного состояния (семейство S4) были инвариантны во времени: одна и та же фиксированная матрица перехода применялась на каждом шаге, что было быстро, но не позволяло решать, что один токен важнее другого. Вклад Mamba состоял в том, чтобы сделать эти параметры перехода селективными — функциями от текущего входа, — так что модель может динамически выбирать, что сохранять в сжатом состоянии, а что отбрасывать, подобно тому, как softmax внимания решает, что выделять, но без материализации матрицы оценок O(n²). Чтобы сохранить эту селективную рекурсию быстрой, Mamba выполняет её как аппаратно-осознанный параллельный сканирование: ассоциативную операцию, вычисляемую в SRAM GPU, а не в цикле токен за токеном, что является тем же видом низкоуровневого инженерного ядра, что FlashAttention сделал для трансформеров. Mamba-2 зашла дальше с «двойственностью пространственного состояния», показав, что селективная SSM и ограниченная форма линейного внимания вычисляют одну и ту же базовую операцию, — позволяя ядрам SSM переиспользовать аппаратное обеспечение для умножения матриц, оптимизированное для GPU.

Настоящим прорывом в промышленной эксплуатации здесь стал Gated DeltaNet, улучшение Mamba2, использующее дельта-правило для лучшей обработки длинных контекстов. Qwen3.5 приняла его в качестве основной архитектуры в феврале 2026 года и получила сильные результаты на задачах агентов и кодинг-бенчмарках, используя всего 3 миллиарда активных параметров в её гибридной MoE-конфигурации. Это впечатляющая эффективность, и мои бенчмарки llama.cpp для Qwen 3.6 MTP против стандартного декодирования на GPU 16 ГБ дают представление о том, как модели Qwen ведут себя на потребительском железе.

Компромисс здесь структурный, а не просто артефакт обучения: поскольку SSM сжимает всю историю в состояние фиксированного размера, она может терять детализацию, которую трансформеры сохраняют, оставляя каждый прошлый токен индивидуально адресуемым через внимание. Если вам нужно точное копирование или цитирование, трансформеры всё ещё побеждают. Для большинства практических задач — суммаризация, агентное использование инструментов, рассуждения по длинным документам, где суть важнее, чем дословное воспроизведение, — выигрыш в эффективности того стоит.

Диффузионные языковые модели: много токенов за один проход

Диффузионные языковые модели применяют ту же технику, которая трансформировала генерацию изображений, к тексту. Вместо генерации одного токена за раз они могут производить несколько токенов параллельно во время каждого прохода.

Nemotron-Labs-Diffusion от NVIDIA, выпущенный в мае 2026 года, достиг почти 6-кратного количества токенов за один проход по сравнению с Qwen3-8B, сохраняя конкурентоспособную точность на бенчмарках, включая HumanEval, GSM8K и Math500. Это три-модная модель, объединяющая авто-регрессионное, диффузионное и само-спекулятивное декодирование. Gemini Diffusion от Google обещает ещё большего ускорения.

Ловушка — это качество против скорости. Авто-регрессионные модели оптимизируют локальную связность на каждом шаге — самый вероятный следующий токен. Диффузионные модели оптимизируют глобально на всем протяжении вывода, что может улучшить общую структуру, но иногда в ущерб детализации. Для творческого письма или мозгового штурма диффузия может быть лучше. Для точного технического вывода авто-регрессия всё ещё побеждает.

Стоит отделить это от трюков на этапе инференса. Спекулятивное декодирование уже обеспечивает несколько токенов за один проход, черновечно и с проверкой, без изменения распределения вывода. Диффузия переносит параллельную генерацию токенов из слоя инференса в саму архитектуру модели — структурно другая ставка.

Мировые модели и JEPA: предсказание смысла, а не токенов

Мировые модели, в частности архитектура JEPA Яна ЛеКюна, берут самый радикальный подход. Вместо предсказания следующего токена они предсказывают следующее латентное эмбеддинг — сжатое представление того, что должно прийти дальше. Это ближе к тому, как работает человеческое познание: мы не предсказываем отдельные слова, мы предсказываем смысл.

Архитектурное отличие от обоих — трансформеров и диффузионных моделей — состоит в отсутствии декодера. Генеративная модель — авто-регрессионная или диффузионная — должна реконструировать свой целевой объект в исходном пространстве: точные пиксели, точные токены. Это заставляет модель тратить ёмкость на моделирование непредсказуемого поверхностного шума: точная формулировка предложения, точное значение пикселя листа на ветру. Потеря JEPA оперирует исключительно внутри выученного пространства представлений, сравнивая предсказанное эмбеддинг с целевым эмбеддингом, произведённым отдельным медленно обновляемым кодировщиком. Ничто никогда не декодируется обратно в сырой вывод во время обучения. Это позволяет предсказателю отбросить шум и сохранить только структурную, релевантную для задачи часть сигнала, — что, не случайно, также та часть, которая полезна для планирования: агент может симулировать «что произойдет, если я сделаю X», прокручивая вперед в латентном пространстве, не платя цену за рендеринг полного изображения или генерацию полного текста для каждого гипотетического сценария.

VL-JEPA достигла производительности, сопоставимой с устоявшимися зрительно-языковыми моделями, используя всего 1.6 миллиарда параметров против 7 миллиардов или больше у конкурентов. Она сокращает операции декодирования примерно на 2.85x, улучшая точность на визуальных задачах вопрос-ответ. Что важнее, архитектуры JEPA созданы для непрерывного обучения — они строят внутренние модели о том, как работает среда, а не просто статистические паттерны в тексте.

Ограничение в том, что JEPA всё ещё matures для чисто языковых задач: LLM-JEPA существует, но ещё не совпала с большими авто-регрессионными или диффузионными моделями на стандартных бенчмарках, и JEPA — не drop-in замена для чат-бота, — это субстрат для обучения представлений и планирования, который дополняет языковые модели больше, чем конкурирует с ними напрямую. Однако для embodied ИИ и робототехники, — где понимание физической каузальности важнее, чем генерация беглого прозы, — JEPA может быть правильной архитектурой с самого начала.

Что делают производственные системы: гибридные архитектуры

Самые интересные разработки сочетают элементы из нескольких архитектур. Jamba от AI21 Labs чередует слои внимания трансформеров со слоями пространственного состояния Mamba, — внимание для долговых зависимостей, SSMs для эффективной локальной обработки. Qwen3.5 сочетает Gated DeltaNet с Mixture of Experts, активируя только релевантные экспертные сети для каждого ввода. Облачные провайдеры уже list-ят модели на базе Mamba, — Codestral Mamba от Mistral стала первым open-source релизом Mamba-2, — а обзор облачных LLM-провайдеров отслеживает, что доступно где.

Эта гибридная линия продолжает продвигаться внутри мейнстримных семейств. Qwen3.8-Flash-Next, превью архитектуры для следующего поколения, сочетает Gated DeltaNet со sparse-вниманием и lookup-базированными n-gram эмбеддингами, — Qwen 4: что подтверждено и что это значит для локального ИИ охватывает, что меняется в следующем поколении и что это значит для локального деплоя.

Разные задачи имеют разные требования:

• Генерация кода может выиграть от параллельной генерации токенов диффузии.
• Анализ длинных документов нуждается в линейном масштабировании SSM.
• Творческое письмо может использовать внимание трансформера для связности.

Одна архитектура не решит всё. Та же логика, что движет дизайном multi-модельных систем, — правильный механизм для правильной задачи, — теперь появляется внутри самих моделей.

Если вы строите ИИ-приложения и проектируете архитектуру на 2027 или 2028 год, не переинвестируйте в чисто трансформерные решения. Рассмотрите, могут ли компоненты SSM или диффузии лучше служить вашему use case. Экосистема смещается, и ранние Adopters получат преимущество.

Две дальнейшие импликации заслуживают внимания. Производительность Qwen3.5 всего с 3 миллиардами активных параметров указывает на то, что специализированные, эффективные архитектуры превзойдут большие general-purpose модели во многих задачах, — что может демократизировать деплой ИИ и сделать высокопроизводительные модели доступными на потребительском железе. И диффузионные языковые модели могут снизить латентность на порядок для определённых задач; приложения, требующие реального времени, — разговорные агенты, живой перевод, интерактивные инструменты, — выиграют больше всего.

К чему это ведёт: пост-трансформерная эра

Следуя трёхлетнему циклу, я бы ожидал первых производственных деплоев не-трансформерных архитектур к 2027–2028 годам. Скорее всего, это будут гибридные системы, использующие внимание трансформеров там, где нужно, но SSMs или диффузию для выигрыша в эффективности.

Фаза консолидации, в которой мы находимся сейчас, — где лаборатории доказывают, что LLMs могут рассуждать и действовать, — уступает место более сложному вызову: сделать эти системы эффективными, адаптивными и пространственно осознающими. Это требует прорывов в непрерывном обучении, мировых моделях и архитектурной эффективности. Каждый адресует фундаментальные ограничения, которые чистое масштабирование не может решить.

Следующая большая вещь будет не в больших моделях. Это будут умнее архитектуры, достигающие большего с меньшими, — модели, которые понимают, а не просто предсказывают, которые адаптируются, а не просто обрабатывают. Это то, что приходит после LLMs. Не одна новая архитектура, а поколение специализированных, эффективных систем, которые наконец выходят за пределы совпадения паттернов в сторону настоящего понимания.

Та же обработка, применённая к семейству, выпускаемому сегодня, начинается с Qwen 4: что подтверждено и что это значит для локального ИИ; больше модельного анализа, от бенчмарков до компромиссов квантования, находится на уровень выше в AI Models.

Ссылки

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf