LLMの次は何か：Mamba、拡散モデル、ワールドモデル

AIの熱狂には一定のリズムがあります。およそ3年ごとに、皆が期待を寄せていたアーキテクチャが、それより新しい技術に置き換えられていきます。次の転換点はすでに研究ラボの中で形成されています。

以下は、トランスフォーマーを置き換える最も有望な候補技術たちと、その転換がすでに始まっていることを示す証拠の巡り見です。このパターンは繰り返されてきました。支配的なアーキテクチャが存在し、その先までスケーリングできない壁があり、そしてその壁を迂回する新しい設計が現れます。

この記事では、トランスフォーマーに迫る4つの限界、3つの代替アーキテクチャ、そしてすでに本番環境で稼働しているハイブリッドシステムが教えてくれることを解説します。本稿の目的は、2027年およびその先を視野に入れたアーキテクチャ設計を決めるエンジニアのための実用的な情報提供であり、予測市場のようなものではなく、2026年時点の現状の証拠に基づくものです。

パターン：AIの3年ごとのブレークスルーサイクル

数年ごとに、AIの重心が移動します。

トランスフォーマーは2017年頃に登場し、RNNやCNNを古い技術のように見せてしまいました。その後、2020年から2022年にかけて、拡散モデルが画像生成を席巻しました。そして、GPT-3やChatGPTが台頭した2022年を起点に、LLMはあらゆる分野へと爆発的に広まりました。

このパターンに従えば、次の転換点到着間近であるはずです。実際にそれは起きていますが、予想外な場所でのことです。SNSやプレスリリースではなく、研究ラボの中身での変化です。

ヤン・ルカン（Yann LeCun）は2025年を通じて、オートリグレッシブ（逐次生成型）LLMには根本的な限界があると論じてきました。彼は複数の会議で「必要なのは語の予測器ではなく、ワールドモデルだ」と述べています。その間、彼のチームはジョイント・エンベディング・予測アーキテクチャ（JEPA）に関する一連の論文を発表しました。最初は画像、次は動画、そして2025年9月には言語を対象としました。

過去12か月の補強証拠は、異例のほど具体的です。

• Mambaのような状態空間モデルは、線形スケーリングで100万トークン規模のコンテキストを扱えます。これは二次的なアテンション機構を持つトランスフォーマーには不可能なことです。
• GoogleはGemini Diffusionを発表し、テキスト生成を最大10倍速くすることを約束しています。
• NVIDIAはNemotron 3をリリースし、Mamba-2レイヤーを内蔵しています。
• 中国のQwen3.5は、Gated DeltaNetsを採用して稼働を開始しました。
• 2025年12月、VL-JEPAが発表されました。競合製品の半分のパラメータ数でありながら、より優れたパフォーマンスを発揮するビジョン・言語モデルです。

トランスフォーマーに行き詰まりが生じている理由

トランスフォーマーは、その処理できる範囲において非常に優れた性能を発揮します。しかし、スケーリングの量では解決できない4つの問題が迫っています。

二次的なアテンションが長いコンテキストで破綻する

セルフアテンションとは、各トークンが他のすべてのトークンと対話することを意味し、計算複雑さはO(n²)です。コンテキストを2倍にすると、計算量は4倍になります。1,000万トークンに到達すれば、計算は単純に破綻します。GPUを増やしても、それは基本的な算術との戦いに他なりません。

学習データの枯渇

LLMはインターネット上のテキストを学習に使用しますが、2026年現在、その大部分が収集（スクレイピング）済みです。書籍、Wikipedia、Reddit、GitHub——すべて消費されてしまいました。合成データは一見解決策のように思えますが、AI生成テキストで学習したモデルは、世代を重ねるにつれて劣化することが分かってきています。それは、生成プロセス自体のアーティファクト（人工的な誤差や癖）やバイアスを学習してしまうためです。2020年から2024年にかけてすべてを支えてきたスケーリングの法則は、限界利益逓減の法則に直面しています。

エネルギーとコストが硬い天井となる

フロンティアモデルの訓練コストは、現在では数千万ドルから数億ドルに達しています。毎日数十億リクエストをサーブするには、膨大な計算資源が必要です。AIデータセンターにはギガワット規模の電力が必要であり、発電能力がボトルネックになりつつあります。サム・アルトマン（Sam Altman）は2024年に、計算コストがすべての制約になっていることを認めましたが、その状況は変わっていません。

制約がエネルギーである場合、答えはモデル側から来るか、シリコン（ハードウェア）側から来るか、そのどちらかです。私のLLMシステムのコスト最適化についての記事とLLM推論専用チップについての記事は、そのトレードオフの両側面をカバーしています。

パターンマッチングは理解ではない

LLMは規模を拡大したパターンマッチャーであり、学習データに基づいて次のトークンを予測します。その点は驚くほど優れていますが、論理的推理や、物理世界の因果関係を理解しているわけではありません。計画立案、シミュレーション、または新しい環境への真の適応ができるAIを求めているなら、トークン予測だけでは那里まで到達できません。

状態空間モデル：圧縮メモリによる線形スケーリング

MambaやGated DeltaNetなどの状態空間モデル（SSM）は、シーケンス処理に対してまったく異なるアプローチを取ります。すべての過去のトークンにアテンションを払うのではなく、履歴を要約した圧縮された内部状態を維持します。これにより、二次的ではなく線形のO(n)スケーリングが可能となり、シーケンスがどの程度長くても、推論時の1トークンあたりのメモリは一定に保たれます。

その効率性の背後にあるメカニズムを理解することは価値があり、それはスピードとトレードオフの両方を説明します。クラシックな状態空間モデル（S4ファミリー）は時間不変であり、各ステップで同じ固定遷移行列が適用されていました。これは高速ですが、あるトークンが他のより重要だと判断することはできません。Mambaの貢献は、これらの遷移パラメータを選択的（selective）にすることでした。つまり、現在の入力に依存する関数とし、モデルが圧縮状態に何を保持し何を破棄するかを動的に選択できるようにしたのです。アテンションのソフトマックスが何を強調するかを決めるのと同じですが、O(n²)のスコア行列を物質化せずに実現します。この選択的な再帰処理を高速に保つために、Mambaはハードウェアを意識した並列スキャンとして実行します。トークンごとのループではなく、GPUのSRAM上で計算される結合則を持つ操作であり、これはFlashAttentionがトランスフォーマーに対して行った低レベルのカーネルエンジニアリングと同様のものです。Mamba-2は「状態空間の対偶性（state space duality）」によってこれをさらに推し進め、選択的SSMと制限付き線形アテンションが同じ基礎演算を計算することを示しました。これにより、SSMカーネルがGPUが最適化されている行列積ハードウェアを再利用できるようになりました。

実際のプロダクションにおける突破口はGated DeltaNetであり、これはMamba2の改良版で、より良好な長いコンテキスト処理のためにデルタルールを使用しています。Qwen3.5は2026年2月にこれを中核アーキテクチャとして採用し、エージェントタスクやコーディングベンチマークで強力な結果を獲得しました。使用したのは、ハイブリッドMoE構成における30億のアクティブパラメータだけです。これは印象的な効率性であり、16GB GPUにおけるllama.cppによるQwen 3.6 MTPと標準デコーディングのベンチマーク比較は、Qwenモデルが消費者向けハードウェアでどのように振る舞うかを示すものです。

トレードオフは構造的なものであり、単なる学習の産物ではありません。SSMは固定サイズの状態に履歴全体を圧縮するため、アテンションを通じてすべての過去トークンを個別にアドレス可能に保持するトランスフォーマーが保持できる微細な詳細を失う可能性があります。正確なコピーや引用が必要な場合、トランスフォーマーが依然として優位です。しかし、大多数の実用的なワークロード——要約、エージェントによるツール利用、詳細な逐語的記憶よりも要点が重要な長い文書の推論——では、効率向上のメリットの方が大きいです。

拡散言語モデル：1回のフォワードパスで複数のトークン

拡散言語モデルは、画像生成を変革した同じ技術をテキストに応用します。1回に1トークンずつ生成するのではなく、各フォワードパス中に複数のトークンを並列で生成できます。

2026年5月にリリースされたNVIDIAのNemotron-Labs-Diffusionは、HumanEval、GSM8K、Math500を含むベンチマークで一貫性のある精度を維持しながら、Qwen3-8Bと比較してほぼ6倍のトークンを1回のフォワードパスで達成しました。これは、オートリグレッシブ、拡散、自己投機的デコーディングを統合したトリモードモデルです。GoogleのGemini Diffusionはさらに大きな高速化を約束しています。

注意点として、品質とスピードの関係があります。オートリグレッシブモデルは各ステップの局所的一貫性を最適化し、最も確率の高い次のトークンを目指します。拡散モデルは出力全体をグローバルに最適化するため、全体構造を改善できますが、微細な詳細を犠牲にすることがあります。クリエイティブライティングやブレインストーミングでは、拡散モデルの方が良いかもしれません。一方、精密な技術的な出力では、オートリグレッシブモデルが依然として優位です。

これは、推論時のトリックと区別する必要があります。投機的デコーディングは、ドラフトと検証により、出力分布を変更することなく、すでに1回のフォワードパスで数トークンを実現しています。拡散モデルは、並列トークン生成を推論レイヤーからモデルアーキテクチャそのものへと移動させる——構造的に異なる賭け事です。

ワールドモデルとJEPA：トークンではなく意味を予測する

ワールドモデル、特にヤン・ルカンのJEPAアーキテクチャは、最も急進的なアプローチを取っています。次のトークンを予測するのではなく、次の潜在エンベディング（次に何が起こるべきかの圧縮された表現）を予測します。これは人間の認知の動作に近く、私たちが個々の単語を予測するのではなく、意味を予測しているのと同じです。

トランスフォーマーや拡散モデルとのアーキテクチャ上の違いは、デコーダーがないことです。生成モデル——オートリグレッシブまたは拡散——は、元の空間でターゲット（正確なピクセル、正確なトークン）を再構築する必要があります。それは、モデルが予測不可能な表面ノイズ（文の正確な言い回し、風の中で揺れる葉の正確なピクセル値）をモデル化するために容量を費やすことを強制します。JEPAの損失関数は、むしろ学習された表現空間内で完全に動作し、独立した低速更新エンコーダーによって生成されたターゲットエンベディングと予測エンベディングを比較します。学習中に何も生データへデコードされません。これにより、予測器はノイズを破棄し、シグナルの構造的でタスクに関連する部分のみを保持できます。これは偶然ではなく、計画立案に役立つ部分でもあります。エージェントは潜在空間を前方にロールバックすることで「Xをしたら何が起きるか」をシミュレーションでき、すべての仮定に対して完全な画像や完全なテキストを生成するコストを支払う必要はありません。

VL-JEPAは、競合が70億以上に対してわずか16億パラメータで、確立されたビジョン・言語モデルに匹敵するパフォーマンスを達成しました。視覚質問応答の精度を向上させながら、デコーディング操作を約2.85倍削減します。さらに重要なのは、JEPAアーキテクチャが継続的学習のために設計されていることであり、テキストの統計的パターンだけでなく、環境がどのように動作するかという内部モデルを構築します。

その限界は、純粋な言語タスクにおいてJEPAがまだ成熟途上にあることです。LLM-JEPAは存在しますが、まだ標準ベンチマークで大型のオートリグレッシブモデルや拡散モデルに匹敵していません。また、JEPAはチャットボットの即席の代替品ではなく、言語モデルと競争相るよりも補完し合う、表現学習と計画立案の基盤です。しかし、エンボディアd AI（実装されたAI）やロボティクスにおいて、流暢な散文を生成することよりも物理的な因果性の理解が重要である場合、JEPAは最初から正しいアーキテクチャかもしれません。

本番システムがやっていること：ハイブリッドアーキテクチャ

最も興味深い進展は、複数のアーキテクチャの要素を組み合わせたものです。AI21 LabsのJambaは、トランスフォーマーのアテンションレイヤーとMambaの状態空間レイヤーを交互に配置しています——長距離依存関係にはアテンション、効率的な局所処理にはSSM。Qwen3.5は、Gated DeltaNetとエキスパートの混合（MoE）を組み合わせており、各入力に対して関連するエキスパートネットワークのみをアクティブ化します。クラウドプロバイダはすでにMambaベースのモデルをリストしています——MistralのCodestral Mambaは最初のオープンソースMamba-2リリースでした——そしてクラウドLLMプロバイダの概要では、どこで何が利用可能かを追跡しています。

そのハイブリッド路線は、メインストリームのファミリー内でもまだ進展しています。次世代のアーキテクチャプレビューであるQwen3.8-Flash-Nextは、Gated DeltaNetをスパースアテンションとルックアップベースのn-gramエンベディングとペアリングしています。Qwen 4：確認済みの事実とローカルAIへの意味は、次世代が何を改变し、ローカルデプロイメントにとって何を意味するかを説明しています。

異なるタスクには異なる要件があります。

• コード生成は、拡散の並列トークン生成から恩恵を受けるかもしれません。
• 長い文書の分析は、SSMの線形スケーリングを必要とします。
• クリエイティブライティングは、一貫性のためにトランスフォーマーのアテンションを使用できるかもしれません。

単一のアーキテクチャですべてを解決することはできません。マルチモデルシステム設計を駆動するのと同じロジック——正しいタスクのための正しいメカニズム——が、今ではモデル自身の内部に現れ始めています。

AIアプリケーションを構築し、2027年や2028年のアーキテクチャ設計を行っているのであれば、純粋なトランスフォーマーソリューションへの過剰投資は避けましょう。SSMや拡散のコンポーネントが、あなたのユースケースによりよく機能するかどうか検討してください。エコシステムは変化しており、アーリーアダプターは優位を得ることになります。

さらに2つの含意を追跡する価値があります。Qwen3.5がわずか30億のアクティブパラメータで性能を発揮したことは、特化型で効率的なアーキテクチャが、多くのタスクにおいてより大きな汎用モデルを上回ることを示唆しています。これはAIデプロイメントの民主化につながる可能性があり、高性能モデルを消費者向けハードウェアでも利用可能にする可能性があります。また、拡散言語モデルは、特定のワークロードでレイテンシを1桁下げることができます。リアルタイム応答を必要とするアプリケーション——会話型エージェント、ライブ翻訳、インタラクティブツール——が最も恩恵を受けます。

どこに向かっているか：ポストトランスフォーマー時代

3年ごとのサイクルに従えば、2027年から2028年までに、トランスフォーマー以外のアーキテクチャの最初の本番デプロイメントを予想します。これらはおそらくハイブリッドシステムであり、必要に応じてトランスフォーマーのアテンションを活用しつつ、効率向上のためにSSMや拡散を使用するでしょう。

現在私たちがいる統合フェーズ——研究ラボがLLMが推論し行動できることを証明している段階——は、より困難な課題に道を譲っています。これらのシステムを効率的、適応的、空間認識可能にすることです。それには、継続的学習、ワールドモデル、アーキテクチャ効率におけるブレークスルーが必要です。それぞれが、純粋なスケーリングでは解決できない根本的な限界に対処しています。

次の大きなものは、より大きなモデルではありません。それは、少ないことでより多くを達成する、より賢いアーキテクチャです——予測するだけでなく理解し、処理するだけでなく適応するモデルです。それがLLMの後にやってくるものです。単一の新しいアーキテクチャではなく、パターンマッチングから真の理解へとようやく進出する、特化型で効率的なシステムの世代です。

今日出荷されているファミリーに同じ分析を適用する場合、Qwen 4：確認済みの事実とローカルAIへの意味から始まります。ベンチマークから量子化のトレードオフまで、より詳細なモデル側分析は、AI Modelsという1階層上にあります。

参考文献

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf