Cosa succede dopo le LLM? Mamba, Diffusion e World Models

L’eccitazione attorno all’IA segue un ritmo: all’incirca ogni tre anni, l’architettura su cui tutti stanno scommettendo viene sostituita da qualcosa di più recente. La prossima transizione si sta già delineando nei laboratori di ricerca.

Quanto segue è un tour dei candidati più forti per sostituire il transformer e delle prove che la transizione è già in corso. Il pattern si ripete: un’architettura dominante, un muro oltre il quale non può scalare e un nuovo design che aggira quel muro.

Questo articolo esamina le quattro limitazioni che si chiudono sui transformer, le tre architetture alternative e ciò che ci dicono i sistemi ibridi già in produzione. L’obiettivo è una lettura pratica per gli ingegneri che decidono cosa progettare per il 2027 e oltre — non un mercato delle previsioni, ma solo le prove così come si presentano nel 2026.

Il pattern: il ciclo di breakthrough di tre anni dell’IA

Ogni paio d’anni il baricentro dell’IA si sposta:

I transformer sono apparsi intorno al 2017 e hanno fatto sembrare le RNN e le CNN delle reliquie. I modelli di diffusione hanno poi preso il sopravvento sulla generazione di immagini tra il 2020 e il 2022. E gli LLM hanno esploso in tutto, a partire dal 2022 con GPT-3 e ChatGPT.

Secondo quel pattern, dovremmo essere in procinto della prossima transizione. Sta già accadendo — solo non dove te lo aspetti. Non sui social media o nei comunicati stampa, ma nei laboratori di ricerca.

Yann LeCun ha trascorso il 2025 ad argomentare che gli LLM autoregressivi sono fondamentalmente limitati. “Abbiamo bisogno di modelli del mondo, non di predittori di parole”, ha detto a conferenza dopo conferenza. Nel frattempo il suo team ha pubblicato una serie di paper sulla Joint Embedding Predictive Architecture (JEPA) — prima per le immagini, poi per il video, poi per il linguaggio nel settembre 2025.

Le prove a supporto dei ultimi dodici mesi sono insolitamente concrete:

• I modelli a spazio di stato come Mamba gestiscono contesti di milioni di token con scalabilità lineare — qualcosa che i transformer non possono fare a causa del loro meccanismo di attenzione quadratico.
• Google ha annunciato Gemini Diffusion, promettendo una generazione di testo fino a 10 volte più veloce.
• NVIDIA ha rilasciato Nemotron 3 con livelli Mamba-2 integrati.
• Il Qwen3.5 della Cina è andato in linea utilizzando Gated DeltaNets.
• Nel dicembre 2025, VL-JEPA è atterrato — un modello visivo-linguistico con la metà dei parametri dei concorrenti che ha comunque performato meglio.

Perché i transformer stanno esaurendo la strada

I transformer sono incredibili in ciò che fanno. Ma quattro problemi si stanno chiudendo che nessuna quantità di scaling può risolvere.

L’attenzione quadratica si rompe a lungo contesto

L’auto-attenzione significa che ogni token parla con ogni altro token — complessità O(n²). Duplichi il contesto e quadruplica il calcolo. A 10 milioni di token, la matematica semplicemente si rompe. Puoi lanciare più GPU, ma stai combattendo contro l’aritmetica di base.

I dati di addestramento stanno finendo

Gli LLM si addestrano su testo di internet e, entro il 2026, gran parte di esso è già stato raschiato via. Libri, Wikipedia, Reddit, GitHub — tutto consumato. I dati sintetici sembrano una soluzione finché non ci si rende conto che i modelli addestrati su testo generato dall’IA si degradano tra generazioni: apprendono gli artefatti e i bias del processo di generazione stesso. Le leggi di scaling che hanno alimentato tutto dal 2020 al 2024 stanno raggiungendo rendimenti decrescenti.

Energia e costi sono il soffitto rigido

I modelli frontier costano decine o centinaia di milioni per l’addestramento ora. Servire miliardi di richieste al giorno brucia calcoli massicci. I data center per l’IA hanno bisogno di gigawatt di potenza, e la capacità di generazione di energia sta diventando un collo di bottiglia. Sam Altman ha ammesso nel 2024 che i costi di calcolo limitano tutto — e questo non è cambiato.

Se il vincolo è l’energia, la risposta può venire dal lato del modello o dal lato del silicio. Le mie note su ottimizzazione dei costi per sistemi LLM e su chip specializzati per inferenza LLM coprono ciascuno lato di quel compromesso.

Il pattern matching non è comprensione

Gli LLM sono pattern matcher su larga scala, che predicono il prossimo token dai dati di addestramento. Eccezionali in questo, sì — ma non ragionano e non comprendono relazioni causalali nel mondo fisico. Se si vuole un’IA che possa pianificare, simulare o adattarsi genuinamente a nuovi ambienti, la predizione di token non ci porterà lì.

Modelli a spazio di stato: scalabilità lineare con memoria compressa

I modelli a spazio di stato (SSM) come Mamba e Gated DeltaNet adottano un approccio completamente diverso alle sequenze. Invece di fare attenzione a tutti i token precedenti, mantengono uno stato interno compresso che riassume la storia — scalabilità lineare O(n) invece di quadratica, con memoria costante per token in inferenza indipendentemente da quanto la sequenza diventi lunga.

Il meccanismo dietro quell’efficienza vale la pena di essere compreso, perché spiega sia la velocità che il compromesso. I modelli a spazio di stato classici (la famiglia S4) erano invarianti nel tempo: la stessa matrice di transizione fissa applicata a ogni passo, il che è veloce ma non può decidere che un token conta più di un altro. Il contributo di Mamba è stato rendere quei parametri di transizione selettivi — funzioni dell’input corrente — in modo che il modello possa scegliere dinamicamente cosa mantenere nel suo stato compresso e cosa scartare, molto come la softmax dell’attenzione decide cosa enfatizzare, ma senza materializzare una matrice di punteggi O(n²). Per mantenere quella ricorrenza selettiva veloce, Mamba la esegue come uno scan parallelo consapevole dell’hardware: un’operazione associativa calcolata nella SRAM della GPU invece di un loop token per token, che è lo stesso tipo di ingegneria di kernel a basso livello che FlashAttention ha fatto per i transformer. Mamba-2 ha spinto oltre questo con la “dualità dello spazio di stato”, mostrando che un SSM selettivo e una forma ristretta di attenzione lineare calcolano la stessa operazione sottostante — permettendo ai kernel SSM di riutilizzare l’hardware di moltiplicazione matriciale per cui le GPU sono ottimizzate.

La vera svolta in produzione qui è stata Gated DeltaNet, un miglioramento su Mamba2 che usa una regola delta per un migliore trattamento del lungo contesto. Qwen3.5 l’ha adottato come sua architettura principale nel febbraio 2026 e ha ottenuto risultati forti su task agentici e benchmark di coding usando solo 3 miliardi di parametri attivi nella sua configurazione ibrida MoE. Questa è un’efficienza impressionante, e i miei benchmark di llama.cpp di Qwen 3.6 MTP rispetto al decoding standard su una GPU da 16 GB danno un’idea di come i modelli Qwen si comportino sull’hardware consumer.

Il compromesso è strutturale, non solo un artefatto di addestramento: poiché un SSM comprime l’intera storia in uno stato di dimensione fissa, può perdere dettagli di sottile granularità che i transformer preservano mantenendo ogni token passato individualmente indirizzabile attraverso l’attenzione. Se hai bisogno di copiatura esatta o citazione, i transformer vincono ancora. Per la maggior parte dei workload pratici — riassunti, uso di tool agentici, ragionamento su documenti lunghi dove l’essenziale conta più della memorizzazione letterale — il guadagno in efficienza ne vale la pena.

Modelli linguistici di diffusione: molti token per passata in avanti

I modelli linguistici di diffusione applicano la stessa tecnica che ha trasformato la generazione di immagini al testo. Invece di generare un token alla volta, possono produrre più token in parallelo durante ogni passata in avanti.

Nemotron-Labs-Diffusion di NVIDIA, rilasciato nel maggio 2026, ha raggiunto quasi 6x token per passata in avanti rispetto a Qwen3-8B mantenendo accuratezza competitiva su benchmark che includono HumanEval, GSM8K e Math500. È un modello tri-modale che unifica decoding autoregressivo, di diffusione e auto-speculativo. Gemini Diffusion di Google promette ancora più accelerazione.

Il guaio è qualità contro velocità. I modelli autoregressivi ottimizzano per coerenza locale a ogni passo — il prossimo token più probabile. I modelli di diffusione ottimizzano globalmente attraverso l’intero output, il che può migliorare la struttura complessiva ma a volte sacrifica dettagli di sottile granularità. Per la scrittura creativa o il brainstorming, la diffusione potrebbe essere migliore. Per output tecnici precisi, l’autoregressivo vince ancora.

Vale la pena separare questo da trucchi al tempo di inferenza. Il decoding speculativo già fornisce più token per passata in avanti attraverso stesura e verifica, senza cambiamenti alla distribuzione dell’output. La diffusione sposta la generazione di token in parallelo dal livello di inferenza nell’architettura del modello stesso — una scommessa strutturalmente diversa.

Modelli del mondo e JEPA: predire il significato, non i token

I modelli del mondo, specificamente l’architettura JEPA di Yann LeCun, adottano l’approccio più radicale. Invece di predire il prossimo token, predicono il prossimo embedding latente — una rappresentazione compressa di ciò che dovrebbe venire dopo. Questo è più vicino a come funziona la cognizione umana: non predichiamo parole individuali, prediciamo il significato.

La differenza architettonica sia dai transformer che dai modelli di diffusione è il decoder mancante. Un modello generativo — autoregressivo o di diffusione — deve ricostruire il suo target nello spazio originale: pixel esatti, token esatti. Questo forza il modello a spendere capacità per modellare rumore superficiale imprevedibile: la formulazione esatta di una frase, il valore esatto del pixel di una foglia al vento. La perdita di JEPA opera interamente all’interno di uno spazio di rappresentazione appreso invece, confrontando un embedding previsto contro un embedding target prodotto da un encoder separato, aggiornato lentamente. Nulla viene mai decodificato di nuovo in output grezzo durante l’addestramento. Questo permette al predittore di scartare il rumore e mantenere solo la parte strutturale, rilevante per il task, del segnale — il che è anche, non a caso, la parte utile per la pianificazione: un agente può simulare “cosa succede se faccio X” facendo scorrere in avanti nello spazio latente, senza pagare il costo di renderizzare un’immagine completa o generare testo completo per ogni ipotesi.

VL-JEPA ha raggiunto prestazioni paragonabili a modelli visivi-linguistici consolidati con soli 1,6 miliardi di parametri rispetto ai 7 miliardi o più dei concorrenti. Riduce le operazioni di decodifica di circa 2,85x migliorando l’accuratezza nel question answering visivo. Più importante ancora, le architetture JEPA sono progettate per l’apprendimento continuo — costruiscono modelli interni di come funziona l’ambiente, non solo pattern statistici nel testo.

La limitazione è che JEPA è ancora in fase di maturazione per i task puramente linguistici: LLM-JEPA esiste ma non ha ancora eguagliato grandi modelli autoregressivi o di diffusione su benchmark standard, e JEPA non è una sostituzione drop-in per un chatbot — è un substrato di apprendimento delle rappresentazioni e di pianificazione che completa i modelli linguistici più che competere con loro frontalmente. Per l’IA incorporata e la robotica, tuttavia — dove la comprensione della causalità fisica conta più della generazione di prosa fluente — JEPA potrebbe essere l’architettura giusta fin dall’inizio.

Cosa stanno facendo i sistemi di produzione: architetture ibride

Gli sviluppi più interessanti combinano elementi da più architetture. Jamba di AI21 Labs alterna livelli di attenzione transformer con livelli a spazio di stato Mamba — attenzione per dipendenze a lungo raggio, SSM per elaborazione locale efficiente. Qwen3.5 combina Gated DeltaNet con Mixture of Experts, attivando solo le reti di esperti rilevanti per ogni input. I provider cloud stanno già elencazione modelli basati su Mamba — Codestral Mamba di Mistral è stato il primo rilascio open-source di Mamba-2 — e la panoramica dei provider cloud LLM tiene traccia di cosa sia disponibile dove.

Quella linea ibrida sta ancora avanzando dentro le famiglie mainstream. Qwen3.8-Flash-Next, l’anteprima dell’architettura per la generazione successiva, abbina Gated DeltaNet con attenzione sparsa e embedding n-gram basati su lookup — Qwen 4: ciò che è confermato e cosa significa per l’IA locale copre cosa cambia la generazione successiva e cosa significa per il deployment locale.

Task diversi hanno requisiti diversi:

• La generazione di codice potrebbe beneficiare della generazione di token in parallelo della diffusione.
• L’analisi di documenti lunghi ha bisogno della scalabilità lineare di un SSM.
• La scrittura creativa potrebbe usare l’attenzione transformer per la coerenza.

Un’unica architettura non risolverà tutto. La stessa logica che guida la progettazione di sistemi multi-modello — il meccanismo giusto per il task giusto — sta ora comparendo dentro i modelli stessi.

Se stai costruendo applicazioni IA e progetti per il 2027 o il 2028, non sovra-investire in soluzioni pure transformer. Considera se componenti SSM o di diffusione possano servire meglio il tuo caso d’uso. L’ecosistema si sta spostando, e i primi adottanti avranno un vantaggio.

Due implicazioni ulteriori vale la pena di monitorare. Le prestazioni di Qwen3.5 con soli 3 miliardi di parametri attivi suggeriscono che architetture specializzate ed efficienti supereranno grandi modelli general-purpose per molti task — il che potrebbe democratizzare il deployment IA e rendere modelli ad alte prestazioni accessibili sull’hardware consumer. E i modelli linguistici di diffusione potrebbero ridurre la latenza di un ordine di grandezza per certi workload; le applicazioni che richiedono risposta in tempo reale — agenti conversazionali, traduzione live, tool interattivi — beneficeranno di più.

Dove sta andando: l’era post-transformer

Seguendo il ciclo di tre anni, mi aspetto i primi deployment di produzione di architetture non-transformer entro il 2027–2028. Questi saranno probabilmente sistemi ibridi che sfrutteranno l’attenzione transformer dove necessario ma usino SSM o diffusione per guadagni in efficienza.

La fase di consolidamento in cui siamo ora — dove i laboratori dimostrano che gli LLM possono ragionare e agire — sta cedendo il passo a una sfida più difficile: rendere questi sistemi efficienti, adattabili e consapevoli dello spazio. Questo richiede breakthrough nell’apprendimento continuo, nei modelli del mondo e nell’efficienza architettonica. Ciascuno affronta limitazioni fondamentali che il puro scaling non può risolvere.

La prossima grande cosa non saranno modelli più grandi. Saranno architetture più intelligenti che ottengono di più con meno — modelli che comprendono piuttosto che solo predire, che si adattano piuttosto che solo elaborare. Questo è ciò che viene dopo gli LLM. Non un’unica nuova architettura, ma una generazione di sistemi specializzati ed efficienti che finalmente vanno oltre il pattern matching verso una comprensione genuina.

Lo stesso trattamento applicato a una famiglia che viene rilasciata oggi inizia con Qwen 4: ciò che è confermato e cosa significa per l’IA locale; più analisi lato modello, dai benchmark ai compromessi di quantizzazione, si trova un livello sopra in Modelli IA.

Riferimenti

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf