O que vem depois dos LLMs? Mamba, Difusão e Modelos de Mundo

O hype em IA segue um ritmo: aproximadamente a cada três anos, a arquitetura em que todos estão apostando é substituída por algo mais novo. A próxima mudança já está se formando nos laboratórios de pesquisa.

O que se segue é um passeio pelos candidatos mais fortes para substituir o transformer e pelas evidências de que a mudança já está em andamento. O padrão se repete: uma arquitetura dominante, uma barreira que ela não consegue superar em escala e um novo design que contorna essa barreira.

Este artigo percorre as quatro limitações que se aproximam dos transformers, as três arquiteturas alternativas e o que os sistemas híbridos já em produção nos dizem. O objetivo é uma leitura prática para engenheiros que decidem o que arquitetar para 2027 e além — não um mercado de previsões, apenas as evidências como estão em 2026.

O padrão: o ciclo de três anos de breakthroughs na IA

A cada poucos anos, o centro de gravidade da IA muda:

Os transformers surgiram por volta de 2017 e fizeram com que RNNs e CNNs parecessem relíquias. Em seguida, os modelos de difusão assumiram a geração de imagens entre 2020 e 2022. E os LLMs explodiram em tudo a partir de 2022, com o GPT-3 e o ChatGPT.

Pelo esse padrão, deveríamos estar nos aproximando da próxima mudança. Ela já está acontecendo — apenas não onde você esperaria. Não nas redes sociais ou em comunicados de imprensa, mas nos laboratórios de pesquisa.

Yann LeCun passou 2025 argumentando que os LLMs autoregressivos são fundamentalmente limitados. “Precisamos de modelos de mundo, não de preditores de palavras”, ele disse em conferência após conferência. Enquanto isso, sua equipe publicou uma sequência de artigos sobre Joint Embedding Predictive Architecture (JEPA) — primeiro para imagens, depois para vídeo e, em setembro de 2025, para linguagem.

As evidências de apoio dos últimos doze meses são incomummente concretas:

• Modelos de espaço de estado, como Mamba, lidam com contextos de milhões de tokens com escalonamento linear — algo que os transformers não conseguem fazer devido ao seu mecanismo de atenção quadrático.
• O Google anunciou o Gemini Diffusion, prometendo geração de texto até 10x mais rápida.
• A NVIDIA lançou o Nemotron 3 com camadas Mamba-2 integradas.
• O Qwen3.5 da China entrou em operação usando Gated DeltaNets.
• Em dezembro de 2025, o VL-JEPA chegou — um modelo de visão-linguagem com metade dos parâmetros de seus concorrentes e que ainda assim teve melhor desempenho.

Por que os transformers estão chegando ao limite

Os transformers são incríveis no que fazem. Mas quatro problemas estão se aproximando que nenhuma quantidade de escala pode corrigir.

A atenção quadrática falha em longo contexto

A autoatenção significa que cada token conversa com cada outro token — complexidade O(n²). Se você duplica o contexto, quadruplica o cálculo. Com 10 milhões de tokens, a matemática simplesmente quebra. Você pode colocar mais GPUs nisso, mas está lutando contra a aritmética básica.

Os dados de treinamento estão acabando

Os LLMs treinam em texto da internet, e até 2026 a maior parte dele já foi raspada. Livros, Wikipedia, Reddit, GitHub — tudo consumido. Dados sintéticos soam como uma solução até você perceber que modelos treinados em texto gerado por IA se degradam ao longo das gerações: eles aprendem os artefatos e vieses do próprio processo de geração. As leis de escala que impulsionaram tudo de 2020 a 2024 estão atingindo retornos decrescentes.

Energia e custo são o limite duro

Modelos de fronteira custam dezenas ou centenas de milhões para treinar agora. Servir bilhões de solicitações diariamente consome uma quantidade massiva de processamento. Os datacenters de IA precisam de gigawatts de energia, e a capacidade de geração de eletricidade está se tornando um gargalo. Sam Altman admitiu em 2024 que os custos de computação limitam tudo — e isso não mudou.

Se a restrição é energia, a resposta pode vir do lado do modelo ou do lado do silício. Minhas notas sobre otimização de custos para sistemas de LLM e sobre chips de inferência especializados para LLM cobrem cada lado desse compromisso.

A correspondência de padrões não é compreensão

Os LLMs são correspondedores de padrões em escala, predizendo o próximo token a partir dos dados de treinamento. Excepcionais nisso, sim — mas não estão raciocinando e não compreendem relações causais no mundo físico. Se você quer uma IA que possa planejar, simular ou se adaptar genuinamente a novos ambientes, a predição de tokens não o levará lá.

Modelos de espaço de estado: escalonamento linear com memória comprimida

Os modelos de espaço de estado (SSMs), como Mamba e Gated DeltaNet, adotam uma abordagem completamente diferente para sequências. Em vez de atentar para todos os tokens anteriores, eles mantêm um estado interno comprimido que resume o histórico — escalonamento linear O(n) em vez de quadrático, com memória constante por token na inferência, independentemente de quão longa a sequência fique.

O mecanismo por trás dessa eficiência vale a pena entender, pois explica tanto a velocidade quanto o compromisso. Modelos de espaço de estado clássicos (a família S4) eram invariantes no tempo: a mesma matriz de transição fixa era aplicada em cada passo, o que é rápido mas não pode decidir que um token importa mais do que outro. A contribuição do Mamba foi tornar esses parâmetros de transição seletivos — funções da entrada atual — para que o modelo possa escolher dinamicamente o que manter em seu estado comprimido e o que descartar, muito como o softmax da atenção decide o que enfatizar, mas sem materializar uma matriz de pontuação O(n²). Para manter essa recorrência seletiva rápida, o Mamba a executa como um scan paralelo ciente de hardware: uma operação associativa computada na SRAM da GPU em vez de um loop token a token, o que é o mesmo tipo de engenharia de kernels de baixo nível que o FlashAttention fez para os transformers. O Mamba-2 levou isso adiante com a “dualidade de espaço de estado”, mostrando que um SSM seletivo e uma forma restrita de atenção linear computam a mesma operação subjacente — permitindo que os kernels de SSM reutilizem o hardware de multiplicação de matrizes para o qual as GPUs são otimizadas.

A verdadeira ruptura em produção aqui foi o Gated DeltaNet, uma melhoria sobre o Mamba2 que usa uma regra delta para melhor lidar com contexto longo. O Qwen3.5 o adotou como sua arquitetura central em fevereiro de 2026 e obteve resultados fortes em tarefas de agentes e benchmarks de código, usando apenas 3 bilhões de parâmetros ativos em sua configuração híbrida MoE. Essa é uma eficiência impressionante, e meus benchmarks do llama.cpp comparando Qwen 3.6 MTP versus decodificação padrão em uma GPU de 16 GB dão uma noção de como os modelos Qwen se comportam em hardware de consumidor.

O compromisso é estrutural, não apenas um artefato de treinamento: porque um SSM comprime todo o histórico em um estado de tamanho fixo, ele pode perder detalhes de granularidade fina que os transformers preservam ao manter cada token passado individualmente endereçável através da atenção. Se você precisar de cópia exata ou citação, os transformers ainda vencem. Para a maioria das cargas de trabalho práticas — sumarização, uso de ferramentas por agentes, raciocínio em documentos longos onde a essência importa mais do que a recuperação literal — o ganho de eficiência vale a pena.

Modelos de linguagem de difusão: muitos tokens por passo de frente

Os modelos de linguagem de difusão aplicam a mesma técnica que transformou a geração de imagens para texto. Em vez de gerar um token de cada vez, eles podem produzir múltiplos tokens em paralelo durante cada passo de frente.

O Nemotron-Labs-Diffusion da NVIDIA, lançado em maio de 2026, alcançou quase 6x mais tokens por passo de frente em comparação com o Qwen3-8B, mantendo precisão competitiva em benchmarks, incluindo HumanEval, GSM8K e Math500. É um modelo de tri-modo que unifica a decodificação autoregressiva, de difusão e de auto-especulação. O Gemini Diffusion do Google promete ainda mais aceleração.

O porém é qualidade versus velocidade. Modelos autoregressivos otimizam a coerência local em cada passo — o próximo token mais provável. Modelos de difusão otimizam globalmente em toda a saída, o que pode melhorar a estrutura geral, mas às vezes sacrifica detalhes de granularidade fina. Para escrita criativa ou brainstorming, a difusão pode ser melhor. Para saída técnica precisa, o autoregressivo ainda vence.

Vale a pena separar isso de truques em tempo de inferência. A decodificação especulativa já entrega vários tokens por passo de frente através de rascunho e verificação, sem mudança na distribuição de saída. A difusão move a geração de tokens paralela da camada de inferência para a própria arquitetura do modelo — uma aposta estruturalmente diferente.

Modelos de mundo e JEPA: predizendo significado, não tokens

Modelos de mundo, especificamente a arquitetura JEPA de Yann LeCun, adotam a abordagem mais radical. Em vez de predizer o próximo token, eles predizem o próximo embedding latente — uma representação comprimida do que deve vir a seguir. Isso é mais próximo de como a cognição humana funciona: não predizemos palavras individuais, predizemos significado.

A diferença arquitetônica em relação a ambos — transformers e modelos de difusão — é o decodificador ausente. Um modelo generativo — autoregressivo ou de difusão — tem que reconstruir seu alvo no espaço original: pixels exatos, tokens exatos. Isso força o modelo a gastar capacidade modelando ruído de superfície imprevisível: a formulação exata de uma frase, o valor exato de pixel de uma folha ao vento. A perda do JEPA opera inteiramente dentro de um espaço de representação aprendido, comparando um embedding previsto contra um embedding alvo produzido por um codificador separado, atualizado lentamente. Nada é decodificado de volta para a saída bruta durante o treinamento. Isso permite que o preditor descarte o ruído e mantenha apenas a parte estrutural e relevante para a tarefa do sinal — o que também, não por coincidência, é a parte útil para o planejamento: um agente pode simular “o que acontece se eu fizer X” projetando-se para frente no espaço latente, sem pagar o custo de renderizar uma imagem completa ou gerar texto completo para cada hipótese.

O VL-JEPA alcançou desempenho comparável a modelos de visão-linguagem estabelecidos com apenas 1,6 bilhão de parâmetros, em contraste com 7 bilhões ou mais para os concorrentes. Ele reduz as operações de decodificação em cerca de 2,85x, melhorando a precisão na resposta a perguntas visuais. Mais importante, as arquiteturas JEPA são projetadas para aprendizado contínuo — elas constroem modelos internos de como o ambiente funciona, não apenas padrões estatísticos no texto.

A limitação é que o JEPA ainda está amadurecendo para tarefas puras de linguagem: o LLM-JEPA existe, mas ainda não igualou grandes modelos autoregressivos ou de difusão em benchmarks padrão, e o JEPA não é uma substituição direta para um chatbot — é um substrato de aprendizado de representações e planejamento que complementa modelos de linguagem mais do que compete diretamente com eles. Para IA incorporada e robótica, no entanto — onde compreender a causalidade física importa mais do que gerar prosa fluente — o JEPA pode ser a arquitetura certa desde o início.

O que os sistemas de produção estão fazendo: arquiteturas híbridas

Os desenvolvimentos mais interessantes combinam elementos de múltiplas arquiteturas. O Jamba da AI21 Labs intercala camadas de atenção do transformer com camadas de espaço de estado do Mamba — atenção para dependências de longo alcance, SSMs para processamento local eficiente. O Qwen3.5 combina Gated DeltaNet com Mixture of Experts, ativando apenas as redes de especialistas relevantes para cada entrada. Os provedores de nuvem já estão listando modelos baseados em Mamba — o Codestral Mamba da Mistral foi o primeiro lançamento open-source do Mamba-2 — e o panorama de provedores de LLM na nuvem rastreia o que está disponível onde.

Essa linha híbrida continua avançando dentro das famílias mainstream. O Qwen3.8-Flash-Next, o preview de arquitetura para a próxima geração, combina Gated DeltaNet com atenção esparsa e embeddings de n-gramas baseados em busca — Qwen 4: o que foi confirmado e o que isso significa para a IA local cobre o que a geração sucessora muda e o que isso significa para a implantação local.

Tarefas diferentes têm requisitos diferentes:

• A geração de código pode se beneficiar da geração paralela de tokens da difusão.
• A análise de documentos longos precisa do escalonamento linear de um SSM.
• A escrita criativa pode usar a atenção do transformer para coerência.

Uma única arquitetura não resolverá tudo. A mesma lógica que impulsiona o design de sistemas multi-modelo — o mecanismo certo para a tarefa certa — agora está aparecendo dentro dos próprios modelos.

Se você está construindo aplicações de IA e arquitetando para 2027 ou 2028, não invista excessivamente em soluções puramente transformer. Considere se componentes SSM ou de difusão poderiam atender melhor ao seu caso de uso. O ecossistema está mudando, e os primeiros adotantes terão uma vantagem.

Duas implicações adicionais valem a pena acompanhar. O desempenho do Qwen3.5 com apenas 3 bilhões de parâmetros ativos sugere que arquiteturas especializadas e eficientes superarão modelos generalizados maiores para muitas tarefas — o que poderia democratizar a implantação de IA e tornar modelos de alto desempenho acessíveis em hardware de consumidor. E modelos de linguagem de difusão podem reduzir a latência em uma ordem de grandeza para certas cargas de trabalho; aplicações que requerem resposta em tempo real — agentes conversacionais, tradução ao vivo, ferramentas interativas — se beneficiarão mais.

Para onde isso vai: a era pós-transformer

Seguindo o ciclo de três anos, esperaria as primeiras implantações em produção de arquiteturas não-transformer até 2027–2028. Estas provavelmente serão sistemas híbridos que alavanquem a atenção do transformer onde necessário, mas usem SSMs ou difusão para ganhos de eficiência.

A fase de consolidação em que estamos agora — onde os laboratórios provam que LLMs podem raciocinar e agir — está cedendo lugar a um desafio mais difícil: fazer esses sistemas eficientes, adaptáveis e conscientes espacialmente. Isso exige breakthroughs em aprendizado contínuo, modelos de mundo e eficiência arquitetural. Cada um aborda limitações fundamentais que a escala pura não pode resolver.

A próxima grande coisa não serão modelos maiores. Serão arquiteturas mais inteligentes que alcançam mais com menos — modelos que compreendem, em vez de apenas predizer, que se adaptam, em vez de apenas processar. É isso que vem depois dos LLMs. Não uma única nova arquitetura, mas uma geração de sistemas especializados e eficientes que finalmente superam a correspondência de padrões em direção a uma compreensão genuína.

O mesmo tratamento aplicado a uma família lançada hoje começa com Qwen 4: o que foi confirmado e o que isso significa para a IA local; mais análises do lado do modelo, de benchmarks a compromissos de quantização, estão um nível acima em Modelos de IA.

Referências

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf