Czym są LLM-y? Mamba, modele dyfuzyjne i światowe

Hype wokół AI podąża za pewnym rytmem: mniej więcej co trzy lata architektura, w którą wszyscy grają, zostaje zastąpiona przez nowszą. Kolejna zmiana już kształtuje się w laboratoriach badawczych.

Poniżej prezentuję przegląd najsilniejszych kandydatów na następców transformera oraz dowody na to, że zmiana ta już się dokonuje. Wzorzec się powtarza: dominująca architektura, ściana, której nie potrafi przekroczyć z powodu skalowalności, oraz nowy projekt, który omija tę barierę.

W tym artykule omawiamy cztery ograniczenia zacieśniające się wokół transformerów, trzy alternatywne architektury oraz to, co mówią nam już istniejące w produkcji systemy hybrydowe. Celem jest praktyczna lektura dla inżynierów decydujących, jak projektować systemy na 2027 rok i lata przyszłe — to nie jest typowanie na giełdzie prognoz, ale jedynie podsumowanie dowodów, jakie mamy na stanie w 2026 roku.

Wzorzec: trzy-letni cykl przełomów w AI

Co kilka lat ośrodek ciężkości AI przesuwa się w nowe miejsce:

Transformery pojawiły się około 2017 roku, sprawiając, że RNN-y i CNN-y wyglądały jak relikwie. Następnie modele dyfuzyjne przejęły dominację w generowaniu obrazów w latach 2020–2022. A LLM-y wybuchły na całe spektrum zastosowań, zaczynając od 2022 roku wraz z GPT-3 i ChatGPT.

Zgodnie z tym wzorcem, powinniśmy znajdować się w pobliżu kolejnej zmiany. Już się ona dokonuje — tylko nie tam, gdzie byś się tego spodziewał. Nie w mediach społecznościowych ani w komunikatach prasowych, ale w laboratoriach badawczych.

Yann LeCun spędził 2025 rok, argumentując, że autonomiczne LLM-y są fundamentalnie ograniczone. „Potrzebujemy modeli świata, a nie predyktorów słów” – mówił na konferencji po konferencji. W międzyczasie jego zespół opublikował serię prac dotyczących Wspólnej Architektury Predykcyjnej Osadzeń (JEPA) — najpierw dla obrazów, potem wideo, a następnie języka we wrześniu 2025 roku.

Dowody wspierające z ostatnich dwunastu miesięcy są wyjątkowo konkretne:

• Modele stanów przestrzeni, takie jak Mamba, radzą sobie z kontekstem milionów tokenów przy liniowym skalowaniu — czego transformery nie potrafią ze względu na ich kwadratowy mechanizm uwagi.
• Google ogłosił Gemini Diffusion, obiecując generowanie tekstu do 10 razy szybsze.
• NVIDIA wyprodukowała Nemotron 3 z wbudowanymi warstwami Mamba-2.
• Chiński Qwen3.5 wszedł do produkcji, wykorzystując Gated DeltaNets.
• W grudniu 2025 roku pojawił się VL-JEPA — model wizyjno-językowy z połową parametrów w porównaniu do konkurencji, który mimo to wykazywał lepsze wyniki.

Dlaczego transformery wyczerpują swoje pole manewru

Transformery są niesamowite w tym, co robią. Ale cztery problemy zacieśniają się wokół nich, których żadne skalowanie nie jest w stanie naprawić.

Kwadratowa uwaga pęka przy długim kontekście

Samo-uwaga oznacza, że każdy token rozmawia z każdym innym tokenem — złożoność O(n²). Podwojenie kontekstu prowadzi do czterokrotnego wzrostu obliczeń. Przy 10 milionach tokenów matematyka po prostu się sypie. Możesz rzucić w to więcej GPU, ale walczysz z podstawowym arytmetyką.

Dane treningowe się kończą

LLM-y uczą się na tekstach z internetu, a do 2026 roku większość z nich została już zebrana. Książki, Wikipedii, Reddit, GitHub — wszystko zużyte. Syntetyczne dane brzmiały jak rozwiązanie, dopóki nie zdasz sobie sprawy, że modele trenowane na tekście generowanym przez AI degradują się z pokolenia na pokolenie: uczą się artefaktów i uprzedzeń samego procesu generacji. Prawa skalowania, które napędzały wszystko od 2020 do 2024 roku, zaczynają dawać zmniejszające się zwroty.

Energia i koszt to twardy sufit

Modele frontier kosztują obecnie dziesiątki lub setki milionów na trening. Obsługa miliardów dziennych żądań spala ogromne ilości obliczeń. Centra danych AI potrzebają gawatów mocy, a zdolność produkcji energii staje się wąskim gardłem. Sam Altman przyznał w 2024 roku, że koszty obliczeniowe ograniczają wszystko — i to się nie zmieniło.

Jeśli ograniczeniem jest energia, odpowiedź może przyjść ze strony modelu lub ze strony krzemowej. Moje notatki o optymalizacji kosztów w systemach LLM oraz o specjalistycznych chipach do inferencji LLM pokrywają obie strony tego kompromisu.

Dopełnianie wzorców nie jest rozumieniem

LLM-y to dopełniacze wzorców w dużej skali, przewidujący następny token na podstawie danych treningowych. Są w tym wybitni, jasne — ale nie rozumują i nie rozumieją relacji przyczynowych w świecie fizycznym. Jeśli chcesz AI, które może planować, symulować lub prawdziwie dostosowywać się do nowych środowisk, predykcja tokenów nie dostarczy ci tam.

Modele stanów przestrzeni: liniowe skalowanie ze skompresowaną pamięcią

Modele stanów przestrzeni (SSM), takie jak Mamba i Gated DeltaNet, stosują zupełnie inne podejście do sekwencji. Zamiast zwracać uwagę na wszystkie poprzednie tokeny, utrzymują skompresowany stan wewnętrzny, który streszcza historię — liniowe skalowanie O(n) zamiast kwadratowego, ze stałą pamięcią na token podczas inferencji, niezależnie od długości sekwencji.

Mechanizm stojący za tą efektywnością warto zrozumieć, ponieważ wyjaśnia zarówno prędkość, jak i kompromis. Klasyczne modele stanów przestrzeni (rodzina S4) były czasowo niezmiennicze: ta sama stała macierz przejściowa stosowana była na każdym kroku, co jest szybkie, ale nie pozwala zdecydować, że jeden token jest ważniejszy niż inny. Wpływ Mamby polegał na uczynieniu tych parametrów przejścia selektywnymi — funkcjami bieżącego wejścia — dzięki czemu model może dynamicznie wybierać, co zachować w swoim skompresowanym stanie, a co odrzucić, podobnie jak softmax uwagi decyduje, co podkreślić, ale bez materializacji macierzy ocen O(n²). Aby utrzymać tę selektywną rekurencję szybkiej, Mamba uruchamia ją jako sprzętowo świadome równoległe skanowanie: operację łączną obliczaną w SRAM GPU zamiast pętli token po tokenie, co jest tego samego rodzaju inżynierią niskopoziomowych kerneli, jaką FlashAttention zrobił dla transformerów. Mamba-2 poszła o krok dalej z „dualnością stanu przestrzeni", pokazując, że selektywny SSM i ograniczona forma liniowej uwagi obliczają tę samą podstawową operację — pozwalając kernelom SSM na ponowne użycie sprzętu do mnożenia macierzy, dla którego GPU są zoptymalizowane.

Prawdziwym przełomem produkcyjnym tutaj był Gated DeltaNet, usprawnienie Mamba2, które używa reguły delta dla lepszego obsługi długiego kontekstu. Qwen3.5 przyjął go jako swoją główną architekturę w lutym 2026 roku i uzyskał silne wyniki w zadaniach agenticznych i benchmarkach kodowania, używając tylko 3 miliardów aktywnych parametrów w swojej hybrydowej konfiguracji MoE. To imponująca efektywność, a moje benchmarki llama.cpp porównujące Qwen 3.6 MTP ze standardowym dekodowaniem na GPU 16 GB dają wyobrażenie, jak modele Qwen zachowują się na sprzęcie konsumenckim.

Kompromis jest strukturalny, a nie tylko artefaktem treningu: ponieważ SSM skompresowuje całą historię do stanu o stałym rozmiarze, może stracić szczegółowe detale, które transformery zachowują, utrzymując każdy przeszły token indywidualnie adresowalny przez uwagę. Jeśli potrzebujesz dokładnego kopiowania lub cytowania, transformery wciąż wygrywają. Dla większości praktycznych obciążeń — streszczanie, użycie narzędzi agenticznych, rozumowanie dokumentów, gdzie istota jest ważniejsza niż dosłowne zapamiętywanie — zysk efektywności jest tego wart.

Modele dyfuzyjne języka: wiele tokenów na jeden przód

Modele dyfuzyjne języka stosują tę samą technikę, która zrewolucjonizowała generowanie obrazów, do tekstu. Zamiast generować jeden token naraz, mogą produkować wiele tokenów równolegle podczas każdego przodu.

Nemotron-Labs-Diffusion od NVIDIA, wydane w maju 2026 roku, osiągnęło niemal 6x tokenów na jeden przód w porównaniu do Qwen3-8B, utrzymując konkurencyjną dokładność na benchmarkach, w tym HumanEval, GSM8K i Math500. To model try-mode, który unifikuje dekodowanie autonomiczne, dyfuzyjne i speculacyjne. Gemini Diffusion od Google obiecuje jeszcze większe przyspieszenie.

Haczykiem jest jakość w stosunku do prędkości. Modele autonomiczne optymalizują spójność lokalną na każdym kroku — najbardziej prawdopodobny następny token. Modele dyfuzyjne optymalizują globalnie dla całego wyjścia, co może poprawić ogólną strukturę, ale czasem poświęca szczegółowe detale. Dla pisarstwa kreatywnego lub burzy mózgów dyfuzja może być lepsza. Dla precyzyjnego wyjścia technicznego autonomiczne wciąż wygrywa.

Warto rozdzielić to od trików z czasu inferencji. Dekodowanie speculacyjne już dostarcza kilka tokenów na jeden przód, szkicując i weryfikując, bez zmiany rozkładu wyjściowego. Dyfuzja przenosi równoległe generowanie tokenów z warstwy inferencji do samej architektury modelu — to strukturalnie inne zakłady.

Modele świata i JEPA: predykcja znaczenia, nie tokenów

Modele świata, a konkretnie architektura JEPA Yann LeCuna, przyjmują najbardziej radykalne podejście. Zamiast predykcji następnego tokena, przewidują następną osadzającą reprezentację (latent embedding) — skompresowaną reprezentację tego, co powinno nadejść. To jest bliższe temu, jak działa ludzka kognicja: nie przewidujemy pojedynczych słów, przewidujemy znaczenie.

Różnica architektoniczna w porównaniu z transformarami i modelami dyfuzyjnymi to brak dekodera. Model generatywny — autonomiczny lub dyfuzyjny — musi odtworzyć swój cel w oryginalnej przestrzeni: dokładne piksele, dokładne tokeny. To zmusza model do wydawania pojemności na modelowanie nieprzewidywalnego szumu powierzchniowego: dokładnego sformułowania zdania, dokładnej wartości piksela liścia wietrze. Strata JEPA działa całkowicie wewnątrz wyuczonej przestrzeni reprezentacji, porównując predykcowaną osadę z osadą docelową wygenerowaną przez osobny, powoli aktualizowany enkoder. Nic nie jest dekodowane z powrotem do surowego wyjścia podczas treningu. To pozwala predyktorowi odrzucić szum i zachować tylko strukturalną, istotną dla zadania część sygnału — co jest również, nieprzypadkowo, częścią użyteczną do planowania: agent może symulować „co się stanie, jeśli zrobię X", kręcąc do przodu w przestrzeni latencji, bez ponoszenia kosztu renderowania pełnego obrazu lub generowania pełnego tekstu dla każdego założeń.

VL-JEPA osiągnęła wydajność porównywalną z ustanowionymi modelami wizyjno-językowymi, używając tylko 1,6 miliarda parametrów, w porównaniu do 7 miliardów lub więcej u konkurencji. Zmniejsza operacje dekodowania o około 2,85x, jednocześnie poprawiając dokładność na pytaniach wizyjnych. Co ważniejsze, architektury JEPA są zaprojektowane do uczenia ciągłego — budują wewnętrzne modele tego, jak środowisko działa, a nie tylko statystyczne wzorce w tekście.

Ograniczeniem jest to, że JEPA wciąż dojrzewa dla czysto językowych zadań: LLM-JEPA istnieje, ale nie dorównał jeszcze dużym modelom autonomicznym lub dyfuzyjnym na standardowych benchmarkach, i JEPA nie jest drop-in replacement dla czatbota — to substrat do uczenia reprezentacji i planowania, który uzupełnia modele językowe bardziej niż rywalizuje z nimi czołowo. Dla wcielenia AI i robotyki jednak — gdzie rozumienie fizycznej przyczynowości jest ważniejsze niż generowanie płynnej prozy — JEPA może być właściwą architekturą od samego początku.

Co robią systemy produkcyjne: architekury hybrydowe

Najciekawsze developementy łączą elementy z wielu architektur. Jamba od AI21 Labs naprzemienne łączy warstwy uwagi transformerowej z warstwami stanów przestrzeni Mamba — uwaga dla zależności długodystansowych, SSM-y dla efektywnej lokalnej obróbki. Qwen3.5 łączy Gated DeltaNet z Mixture of Experts, aktywując tylko istotne sieci ekspertów dla każdego wejścia. Dostawcy chmury już wymieniają modele oparte na Mambie — Codestral Mamba od Mistrala był pierwszym open-source wydanym na Mamba-2 — a przegląd dostawców chmurowych LLM śledzi, co jest dostępne gdzie.

Ta linia hybrydowa nadal idzie do przodu wewnątrz głównych rodzin. Qwen3.8-Flash-Next, podgląd architektury dla następnej generacji, łączy Gated DeltaNet z rozrzedzoną uwagą i embeddingami n-gramów opartych na wyszukiwaniu — Qwen 4: co jest potwierdzone i co to oznacza dla lokalnego AI pokrywa, co następna generacja zmienia i co to oznacza dla lokalnego wdrożenia.

Różne zadania mają różne wymagania:

• Generowanie kodu może skorzystać z równoległego generowania tokenów dyfuzji.
• Analiza długich dokumentów potrzebuje liniowego skalowania SSM.
• Pisanie kreatywne może użyć uwagi transformerowej dla spójności.

Pojedyncza architektura nie rozwiąże wszystkiego. Ta sama logika, która napędza projektowanie systemów wielomodelowych — właściwy mechanizm dla właściwego zadania — pojawia się teraz wewnątrz samych modeli.

Jeśli budujesz aplikacje AI i projektujesz na 2027 lub 2028 rok, nie inwestuj nadmiernie w czyste rozwiązania transformerowe. Rozważ, czy komponenty SSM lub dyfuzji mogą lepiej służyć Twojemu przypadkowi użycia. Ekosystem się zmienia, a wczesni adopterzy będą mieć przewagę.

Warte śledzenia są dwie kolejne implikacje. Wydajność Qwen3.5 z tylko 3 miliardami aktywnych parametrów sugeruje, że specjalistyczne, efektywne architektury pokonają większe modele uniwersalne dla wielu zadań — co może demokratyzować wdrożenie AI i uczynić wysokiej wydajności modele dostępnymi na sprzęcie konsumenckim. A modele dyfuzyjne języka mogłyby zredukować opóźnienie o rząd wielkości dla pewnych obciążeń; aplikacje wymagające odpowiedzi w czasie rzeczywistym — agenci konwersacyjni, żywe tłumaczenie, interaktywne narzędzia — skoroczą z tego najbardziej.

Dokąd to zmierza: era post-transformerowa

Podążając za trzy-letnim cyklem, oczekiwałbym pierwszych wdrożeń produkcyjnych architektur nietransformerowych do 2027–2028 roku. Będą to prawdopodobnie systemy hybrydowe, które wykorzystują uwagę transformerową tam, gdzie jest potrzebna, ale używają SSM lub dyfuzji dla zysków efektywności.

Faza konsolidacji, w której jesteśmy teraz — gdzie laboratoria udowadniają, że LLM-y mogą rozumować i działać — ustępuje miejsca trudniejszemu wyzwaniu: czynienie tych systemów efektywnymi, adaptowalnymi i świadomymi przestrzennie. To wymaga przełomów w uczeniu ciągłym, modelach świata i efektywności architektonicznej. Każdy adresuje fundamentalne ograniczenia, których czysta skala nie jest w stanie rozwiązać.

Następna wielka rzecz nie będą większe modele. Będą to mądrzejsze architektury, które osiągają więcej za mniej — modele, które rozumieją, a nie tylko przewidują, które adaptują się, a nie tylko przetwarzają. To jest to, co przychodzi po LLM-ach. Nie jedna nowa architektura, ale pokolenie specjalistycznych, efektywnych systemów, które wreszcie wychodzą poza dopełnianie wzorców w stronę prawdziwego rozumienia.

Ten sam rodzaj analizy zastosowany do rodziny wydawanej dzisiaj zaczyna się od Qwen 4: co jest potwierdzone i co to oznacza dla lokalnego AI; więcej analiz ze strony modelu, od benchmarków po kompromisy kwantyzacji, znajduje się jeden poziom wyżej w Modele AI.

Referencje

1. Adaline Labs. „The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. „The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. „Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, maj 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. „Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. „NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” 20 maja 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. „VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. „VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. „Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. „Why Did Qwen3.5 Choose Gated DeltaNet?” Luty 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. „Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. „Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, marzec 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. „Why Diffusion Models Could Change Developer Workflows in 2026.” Listopad 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. „Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. „Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” 26 sierpnia 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. „Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. „Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. „Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. „The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. „A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf