Was kommt nach LLMs? Mamba, Diffusion und Weltmodelle

Der KI-Hype folgt einem Rhythmus: ungefähr alle drei Jahre wird die Architektur, auf die alle setzen, durch eine neuere ersetzt. Die nächste Änderung formiert sich bereits in den Forschungslaboren.

Was folgt, ist eine Tour durch die aussichtsreichsten Kandidaten, die den Transformer ablösen könnten, und durch die Belege dafür, dass dieser Wandel bereits im Gange ist. Das Muster wiederholt sich: eine dominante Architektur, eine Mauer, die sie nicht überwinden kann, und ein neues Design, das diese Mauer umgeht.

Dieser Artikel beleuchtet die vier Limitierungen, die den Transformers zu Leibe rücken, die drei alternativen Architekturen und was die Hybrid-Systeme, die bereits im Einsatz sind, uns verraten. Das Ziel ist ein praktischer Überblick für Ingenieure, die entscheiden müssen, was sie für 2027 und darüber hinaus entwickeln – keine Wettmarkt-Prognose, sondern nur die Beweislage, wie sie 2026 steht.

Das Muster: Der dreijährliche Durchbruchzyklus der KI

Alle paar Jahre verschiebt sich das Schwergewicht der KI:

Transformer tauchten um 2017 auf und ließen RNNs und CNNs wie Relikte aussehen. Dann übernahmen Diffusionsmodelle zwischen 2020 und 2022 die Bildgenerierung. Und LLMs explodierten ab 2022 mit GPT-3 und ChatGPT in alles Mögliche hinein.

Nach diesem Muster sollten wir der nächsten Verschiebung bereits näherkommen. Sie findet bereits statt – nur nicht dort, wo man es erwarten würde. Nicht in sozialen Medien oder in Pressemitteilungen, sondern in Forschungslaboren.

Yann LeCun verbrachte 2025 damit zu argumentieren, dass autoregressive LLMs grundlegend begrenzt sind. „Wir brauchen Weltmodelle, keine Wortvorhersager“, sagte er auf Konferenz nach Konferenz. Unterdessen veröffentlichte sein Team eine Serie von Papers zur Joint Embedding Predictive Architecture (JEPA) – zuerst für Bilder, dann für Video und schließlich für Sprache im September 2025.

Die unterstützenden Beweise aus den letzten zwölf Monaten sind ungewöhnlich konkret:

• State-Space-Modelle wie Mamba bearbeiten Millionen-Token-Kontexte mit linearem Skalierungsverhalten – etwas, das Transformer aufgrund ihres quadratischen Aufmerksamkeitsmechanismus nicht können.
• Google kündigte Gemini Diffusion an, mit dem Versprechen, Textgenerierung um bis zu das 10-Fache schneller zu machen.
• NVIDIA lieferte Nemotron 3 mit eingebauten Mamba-2-Ebenen aus.
• Chinas Qwen3.5 ging live und nutzt Gated DeltaNets.
• Im Dezember 2025 landete VL-JEPA – ein Bild-Sprache-Modell mit halb so vielen Parametern wie seine Konkurrenz, das dennoch besser performte.

Warum die Transformer an ihre Grenzen stoßen

Transformer sind außergewöhnlich gut in dem, was sie tun. Aber vier Probleme rücken näher, die keine Menge an Skalierung beheben kann.

Quadratische Aufmerksamkeitsberechnung bricht bei langem Kontext zusammen

Self-Attention bedeutet, dass jedes Token mit jedem anderen Token kommuniziert – eine Komplexität von O(n²). Verdoppeln Sie Ihren Kontext, vervierfachen Sie die Rechenleistung. Bei 10 Millionen Token bricht die Mathematik einfach zusammen. Man kann mehr GPUs hinzufügen, aber man kämpft gegen die elementare Arithmetik.

Die Trainingsdaten gehen zur Neige

LLMs trainieren auf Internettexten, und bis 2026 ist der Großteil davon bereits geschrappt. Bücher, Wikipedia, Reddit, GitHub – alles aufgebraucht. Synthetische Daten klingen nach einer Lösung, bis man realisiert, dass Modelle, die auf KI-generierten Text trainieren, über Generationen hinweg degradieren: Sie lernen die Artefakte und Vorurteile des Generierungsprozesses selbst. Die Skalierungsgesetze, die alles von 2020 bis 2024 antrieben, stoßen auf abnehmende Grenzerträge.

Energie und Kosten sind die harte Deckelung

Frontier-Modelle kosten jetzt Zehn- oder Hunderttausende von Dollar oder Euro für das Training. Der tägliche Service von Milliarden von Anfragen frisst enorme Rechenleistung. KI-Rechenzentren benötigen Gigawatt an Energie, und die Stromerzeugungskapazität wird zu einem Flaschenhals. Sam Altman räumte 2024 ein, dass Rechenkosten alles limitieren – und daran hat sich nichts geändert.

Wenn die Beschränkung die Energie ist, kann die Antwort von der Modellseite oder von der Halbleiterseite kommen. Meine Notizen zu Kostenoptimierung für LLM-Systeme und zu spezialisierten LLM-Inferenz-Chips decken beide Seiten dieses Trade-offs ab.

Mustererkennung ist kein Verständnis

LLMs sind Mustererkerker auf Skala, die das nächste Token aus Trainingsdaten vorhersagen. In dieser Disziplin außergewöhnlich gut, sicher – aber kein logisches Schließen und kein Verständnis kausaler Zusammenhänge in der physischen Welt. Wenn man eine KI will, die planen, simulieren oder sich wirklich an neue Umgebungen anpassen kann, wird die Token-Vorhersage einen nicht dorthin bringen.

State-Space-Modelle: Lineare Skalierung mit komprimiertem Gedächtnis

State-Space-Modelle (SSMs) wie Mamba und Gated DeltaNet nehmen einen völlig anderen Ansatz für Sequenzen. Anstatt alle vorherigen Tokens zu berücksichtigen, pflegen sie einen komprimierten internen Zustand, der die Geschichte zusammenfasst – lineare Skalierung O(n) statt quadratischer, mit konstantem Speicher pro Token bei der Inferenz, unabhängig davon, wie lang die Sequenz wird.

Der Mechanismus hinter dieser Effizienz lohnt ein tieferes Verständnis, da er sowohl die Geschwindigkeit als auch den Trade-off erklärt. Klassische State-Space-Modelle (die S4-Familie) waren zeitinvariant: dieselbe feste Übergangsmatrix wurde bei jedem Schritt angewendet, was schnell ist, aber nicht entscheiden kann, dass ein Token wichtiger ist als ein anderes. Der Beitrag von Mamba bestand darin, diese Übergangsparameter selektiv zu machen – Funktionen der aktuellen Eingabe –, sodass das Modell dynamisch wählen kann, was in seinem komprimierten Zustand behalten und was verworfen wird, ähnlich wie der Softmax der Aufmerksamkeitsberechnung entscheidet, was zu betonen ist, aber ohne eine O(n²)-Score-Matrix zu materialisieren. Um diese selektive Rekursion schnell zu halten, führt Mamba sie als hardwarebessene parallele Scan-Operation durch: eine assoziative Operation, die in GPU-SRAM berechnet wird, anstatt einer Token-für-Token-Schleife, was die gleiche Art von Low-Level-Kernel-Engineering ist, das FlashAttention für Transformer getan hat. Mamba-2 trieb dies weiter voran mit „state space duality“, indem es zeigte, dass ein selektives SSM und eine eingeschränkte Form linearer Aufmerksamkeitsberechnung dieselbe zugrunde liegende Operation berechnen – und SSM-Kernels damit die Matrixmultiplikations-Hardware wiederverwenden können, auf die GPUs optimiert sind.

Der eigentliche Produktionsdurchbruch hier war Gated DeltaNet, eine Verbesserung von Mamba2, die eine Delta-Regel für eine bessere Verarbeitung von langem Kontext verwendet. Qwen3.5 nahm es im Februar 2026 als Kernarchitektur an und erzielte starke Ergebnisse in Agenten-Aufgaben und Coding-Benchmarks, indem es nur 3 Milliarden aktive Parameter in seiner hybriden MoE-Konfiguration nutzte. Das ist beeindruckende Effizienz, und meine llama.cpp-Benchmarks von Qwen 3.6 MTP gegenüber Standard-Decoding auf einer 16-GB-GPU geben ein Gefühl dafür, wie sich Qwen-Modelle auf Consumer-Hardware verhalten.

Der Trade-off ist strukturell und nicht nur ein Trainingsartefakt: Da ein SSM die gesamte Geschichte in einen fixes-size-Zustand komprimiert, kann es feingranulare Details verlieren, die Transformer dadurch erhalten, dass sie jedes vergangene Token individuell adressierbar durch Aufmerksamkeitsberechnung halten. Wenn man exakte Kopien oder Zitate benötigt, gewinnen Transformer noch immer. Für die meisten praktischen Workloads – Zusammenfassungen, agentische Tool-Nutzung, Langdokument-Reasoning, wo der Kern wichtiger ist als wörtliche Erinnerung – ist der Effizienzgewinn es wert.

Diffusions-Sprachmodelle: Viele Tokens pro Vorwärtsdurchlauf

Diffusions-Sprachmodelle wenden dieselbe Technik auf Text an, die die Bildgenerierung transformierte. Anstatt ein Token nach dem anderen zu generieren, können sie mehrere Tokens parallel während jedes Vorwärtsdurchlaufs produzieren.

NVIDIAs Nemotron-Labs-Diffusion, veröffentlicht im Mai 2026, erzielte fast 6x Tokens pro Vorwärtsdurchlauf im Vergleich zu Qwen3-8B und hielt dabei eine wettbewerbsfähige Genauigkeit über Benchmarks wie HumanEval, GSM8K und Math500 aufrecht. Es ist ein Tri-Mode-Modell, das autoregressive, diffusive und selbst-spekulatives Decoding vereint. Googles Gemini Diffusion verspricht noch mehr Beschleunigung.

Der Haken ist Qualität versus Geschwindigkeit. Autoregressive Modelle optimieren die lokale Kohärenz bei jedem Schritt – das wahrscheinlichste nächste Token. Diffusionsmodelle optimieren global über die gesamte Ausgabe, was die Gesamtstruktur verbessern kann, aber manchmal feingranulare Details opfert. Für kreatives Schreiben oder Brainstorming könnte Diffusion besser sein. Für präzise technische Ausgaben gewinnt autoregressive Decoding noch immer.

Es ist wert, dies von Inferenzzeit-Tricks zu trennen. Spekulatives Decoding liefert bereits mehrere Tokens pro Vorwärtsdurchlauf, indem es entwirft und verifiziert, ohne die Ausgabenverteilung zu ändern. Diffusion verlagert die parallele Token-Generierung von der Inferenzebene in die Modellarchitektur selbst – eine strukturell andere Wette.

Weltmodelle und JEPA: Bedeutung vorhersagen, keine Tokens

Weltmodelle, speziell Yann LeCuns JEPA-Architektur, nehmen den radikalsten Ansatz an. Anstatt das nächste Token zu vorhersagen, sagen sie den nächsten latenten Embedding vorher – eine komprimierte Repräsentation dessen, was als Nächstes kommen sollte. Das kommt der menschlichen Kognition näher: Wir sagen keine individuellen Wörter voraus, wir sagen Bedeutung voraus.

Der architektonische Unterschied zu beiden, Transformern und Diffusionsmodellen, ist der fehlende Decoder. Ein generatives Modell – autoregressiv oder diffusiiv – muss sein Ziel im Originalraum rekonstruieren: exakte Pixel, exakte Tokens. Das zwingt das Modell, Kapazität zu verwenden, um unvorhersehbaren Oberflächen-Rauschen zu modellieren: die exakte Formulierung eines Satzes, der exakte Pixelwert eines Blattes im Wind. JEPAs Verlust operiert dagegen vollständig innerhalb eines gelernten Repräsentationsraums, indem er ein vorhergesagtes Embedding mit einem Ziel-Embedding vergleicht, das von einem separaten, langsam aktualisierten Encoder erzeugt wird. Nichts wird während des Trainings zurück in die rohe Ausgabe dekodiert. Das erlaubt dem Prädiktor, das Rauschen zu verwerfen und nur den strukturellen, aufgaberelevanten Teil des Signals beizubehalten – was auch, nicht zufällig, der Teil ist, der für Planung nützlich ist: Ein Agent kann „was passiert, wenn ich X tue“ simulieren, indem er im latenten Raum vorwärts rollt, ohne die Kosten zu tragen, ein volles Bild zu rendern oder vollen Text für jede Hypothese zu generieren.

VL-JEPA erzielte eine Leistung, vergleichbar mit etablierten Bild-Sprache-Modellen, mit nur 1,6 Milliarden Parametern, verglichen mit 7 Milliarden oder mehr für die Konkurrenz. Es reduziert Dekodierungsoperationen um etwa 2,85x, während es die Genauigkeit bei visuellen Fragen-und-Antworten-Aufgaben verbessert. Wichtiger noch: JEPA-Architekturen sind für kontinuierliches Lernen ausgelegt – sie bauen interne Modelle davon auf, wie die Umgebung funktioniert, nicht nur statistische Muster im Text.

Die Limitierung ist, dass JEPA für reine Sprachaufgaben noch reift: LLM-JEPA existiert, hat aber noch nicht große autoregressive oder Diffusionsmodelle auf Standard-Benchmarks eingeholt, und JEPA ist kein Drop-in-Ersatz für einen Chatbot – es ist ein Substrat für Repräsentationslernen und Planung, das Sprachmodelle eher ergänzt, als dass es direkt mit ihnen konkurriert. Für inkarnierte KI und Robotik jedoch – wo das Verständnis physischer Kausalität wichtiger ist als die Generierung flüssiger Prosa – könnte JEPA von Anfang an die richtige Architektur sein.

Was Produktionssysteme tun: Hybride Architekturen

Die interessantesten Entwicklungen kombinieren Elemente aus mehreren Architekturen. AI21 Labs’ Jamba verzahnt Transformer-Aufmerksamkeits- mit Mamba-State-Space-Ebenen – Aufmerksamkeit für Langdistanz-Abhängigkeiten, SSMs für effiziente lokale Verarbeitung. Qwen3.5 kombiniert Gated DeltaNet mit Mixture of Experts und aktiviert nur die relevanten Experten-Netzwerke für jede Eingabe. Cloud-Anbieter listen bereits Mamba-basierte Modelle auf – Mistrals Codestral Mamba war die erste Open-Source-Veröffentlichung von Mamba-2 – und der Übersicht über Cloud-LLM-Anbieter verfolgt, was wo verfügbar ist.

Diese hybride Linie schreitet weiter innerhalb der Mainstream-Familien voran. Qwen3.8-Flash-Next, der Architektur-Vorablick auf die nächste Generation, paart Gated DeltaNet mit sparsamer Aufmerksamkeit und Lookup-basierten n-gram-Embeddings – Qwen 4: Was bestätigt ist und was es für lokale KI bedeutet deckt ab, was die Nachfolgeneration ändert und was es für lokale Deployment bedeutet.

Unterschiedliche Aufgaben haben unterschiedliche Anforderungen:

• Codegenerierung könnte von der parallelen Token-Generierung von Diffusion profitieren.
• Langdokument-Analyse braucht die lineare Skalierung eines SSMs.
• Kreatives Schreiben könnte Transformer-Aufmerksamkeit für Kohärenz verwenden.

Eine einzelne Architektur wird nicht alles lösen. Dasselbe Logik, die das Multi-Modell-Systemdesign antreibt – der richtige Mechanismus für die richtige Aufgabe – tritt nun innerhalb der Modelle selbst auf.

Wenn Sie KI-Anwendungen bauen und für 2027 oder 2028 architektonisch planen, investieren Sie nicht übermäßig in reine Transformer-Lösungen. Erwägen Sie, ob SSM- oder Diffusions-Komponenten Ihren Anwendungsfall besser bedienen könnten. Das Ökosystem verschiebt sich, und Frühadapter werden einen Vorteil haben.

Zwei weitere Implikationen sind es wert, verfolgt zu werden. Die Leistung von Qwen3.5 mit nur 3 Milliarden aktiven Parametern deutet darauf hin, dass spezialisierte, effiziente Architekturen für viele Aufgaben größere, allgemeine Modelle übertreffen werden – was die KI-Deployment demokratisieren und Hochleistungsmodelle auf Consumer-Hardware zugänglich machen könnte. Und Diffusions-Sprachmodelle könnten die Latenz für bestimmte Workloads um eine Größenordnung reduzieren; Anwendungen, die Echtzeit-Antwort erfordern – konversationelle Agenten, Live-Übersetzung, interaktive Tools – werden am meisten profitieren.

Wohin dies führt: Das Post-Transformer-Zeitalter

Dem dreijährlichen Zyklus folgend, würde ich die ersten Produktionsdeployments von Nicht-Transformer-Architekturen bis 2027–2028 erwarten. Diese werden wahrscheinlich Hybrid-Systeme sein, die Transformer-Aufmerksamkeit dort verwenden, wo sie benötigt wird, aber SSMs oder Diffusion für Effizienzgewinne nutzen.

Die Konsolidierungsphase, in der wir uns jetzt befinden – in der Labors beweisen, dass LLMs schließen und handeln können – weicht einer härteren Herausforderung: diese Systeme effizient, anpassungsfähig und räumlich bewusst zu machen. Das erfordert Durchbrüche in kontinuierlichem Lernen, Weltmodellen und architektonischer Effizienz. Jede adressiert fundamentale Limitierungen, die reine Skalierung nicht lösen kann.

Das nächste große Ding wird nicht größere Modelle sein. Es wird schlauere Architekturen sein, die mehr mit weniger erreichen – Modelle, die verstehen und nicht nur vorhersagen, die sich anpassen und nicht nur verarbeiten. Das ist es, was nach LLMs kommt. Nicht eine einzelne neue Architektur, sondern eine Generation von spezialisierten, effizienten Systemen, die endlich über Mustererkennung hinausgehen, hin zu echtem Verständnis.

Die gleiche Behandlung, angewandt auf eine Familie, die heute ausgeliefert wird, beginnt mit Qwen 4: Was bestätigt ist und was es für lokale KI bedeutet; mehr modellseitige Analyse, von Benchmarks bis Quantisierungs-Trade-offs, sitzt eine Ebene höher unter KI-Modelle.

Referenzen

1. Adaline Labs. „The AI Research Landscape in 2026: From Agentic AI to Embodiment.“ https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. „The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.“ Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. „Beyond LLMs: A Post-Transformer World Emerges.“ Communications of the ACM, Mai 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. „Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.“ arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. „NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.“ 20. Mai 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. „VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.“ arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. „VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.“ https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. „Gated Delta Networks: Improving Mamba2 with Delta Rule.“ ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. „Why Did Qwen3.5 Choose Gated DeltaNet?“ Februar 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. „Gemini Diffusion.“ https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. „Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.“ arXiv:2603.22075, März 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. „Why Diffusion Models Could Change Developer Workflows in 2026.“ November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. „Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).“ https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. „Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.“ 26. August 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. „Following a 3-year AI breakthrough cycle.“ https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. „Mamba: Linear-Time Sequence Modeling with Selective State Spaces.“ arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. „Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).“ arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. „The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).“ https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. „A Path Towards Autonomous Machine Intelligence.“ Position Paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf