¿Qué viene después de los LLMs? Mamba, difusión y modelos del mundo

El auge de la IA sigue un ritmo: aproximadamente cada tres años, la arquitectura en la que todos apuestan es reemplazada por algo más nuevo. El próximo cambio ya se está gestando en los laboratorios de investigación.

A continuación, un recorrido por los candidatos más fuertes para reemplazar al transformer y de las pruebas de que el cambio ya está en marcha. El patrón se repite: una arquitectura dominante, un muro al que no puede escalar y un nuevo diseño que rodea ese obstáculo.

Este artículo analiza las cuatro limitaciones que se cierran sobre los transformers, las tres arquitecturas alternativas y lo que nos dicen los sistemas híbridos ya en producción. El objetivo es una lectura práctica para ingenieros que deciden en qué diseñar para 2027 y más allá; no es un mercado de predicciones, solo es la evidencia tal como se presenta en 2026.

El patrón: el ciclo de avances de tres años de la IA

Cada pocos años, el centro de gravedad de la IA cambia:

Los transformers aparecieron alrededor de 2017 y hicieron que las RNN y CNN parecieran reliquias. Luego, los modelos de difusión tomaron el control de la generación de imágenes entre 2020 y 2022. Y los LLM explotaron en todo el mundo a partir de 2022 con GPT-3 y ChatGPT.

Según ese patrón, deberíamos estar cerca del próximo cambio. Ya está ocurriendo, solo que no donde esperarías. No en redes sociales ni en comunicados de prensa, sino en laboratorios de investigación.

Yann LeCun dedicó 2025 a argumentar que los LLM autoregresivos están fundamentalmente limitados. “Necesitamos modelos de mundo, no predictores de palabras”, dijo en conferencia tras conferencia. Mientras tanto, su equipo publicó una serie de artículos sobre la Arquitectura de Predicción de Incrustaciones Conjuntas (JEPA) — primero para imágenes, luego para video, y luego para lenguaje en septiembre de 2025.

La evidencia de respaldo de los últimos doce meses es inusualmente concreta:

• Los modelos de espacio de estado como Mamba manejan contextos de millones de tokens con escalado lineal, algo que los transformers no pueden hacer debido a su mecanismo de atención cuadrática.
• Google anunció Gemini Diffusion, prometiendo generación de texto hasta 10 veces más rápida.
• NVIDIA lanzó Nemotron 3 con capas Mamba-2 integradas.
• El Qwen3.5 de China entró en funcionamiento utilizando Gated DeltaNets.
• En diciembre de 2025, llegó VL-JEPA, un modelo de visión-lenguaje con la mitad de parámetros que sus competidores que aun así rindió mejor.

Por qué los transformers se quedan sin camino

Los transformers son increíbles en lo que hacen. Pero hay cuatro problemas que se cierran sobre ellos y que ninguna cantidad de escalado puede corregir.

La atención cuadrática falla en contextos largos

La autoatención significa que cada token habla con cada otro token, con una complejidad de O(n²). Si duplicas tu contexto, cuadruplicas los cálculos. A 10 millones de tokens, las matemáticas simplemente se rompen. Puedes lanzar más GPUs contra ello, pero estás luchando contra la aritmética básica.

Los datos de entrenamiento se están agotando

Los LLM se entrenan con texto de internet, y para 2026 la mayor parte de él ya ha sido raspado (scrapeado). Libros, Wikipedia, Reddit, GitHub: todo consumido. Los datos sintéticos suenan como una solución hasta que te das cuenta de que los modelos entrenados en texto generado por IA se degradan a lo largo de las generaciones: aprenden las anomalías y sesgos del propio proceso de generación. Las leyes de escalado que impulsaron todo desde 2020 hasta 2024 están topano con rendimientos decrecientes.

La energía y el costo son el límite duro

Los modelos de frontera ahora cuestan decenas o cientos de millones para entrenar. Atender miles de millones de solicitudes diarias quema una cantidad masiva de cómputo. Los centros de datos de IA necesitan gigavatios de potencia, y la capacidad de generación de energía se está convirtiendo en un cuello de botella. Sam Altman admitió en 2024 que los costos de cómputo limitan todo, y eso no ha cambiado.

Si la restricción es la energía, la respuesta puede venir del lado del modelo o del lado del silicio. Mis notas sobre optimización de costos para sistemas LLM y sobre chips de inferencia LLM especializados cubren cada lado de esa compensación.

El ajuste de patrones no es comprensión

Los LLM son ajustadores de patrones a escala, predecir el siguiente token a partir de datos de entrenamiento. Son excepcionales en ello, sí, pero no razonan ni comprenden las relaciones causales en el mundo físico. Si quieres una IA que pueda planear, simular o adaptarse genuinamente a nuevos entornos, la predicción de tokens no te llevará allí.

Modelos de espacio de estado: escalado lineal con una memoria comprimida

Los modelos de espacio de estado (SSM), como Mamba y Gated DeltaNet, toman un enfoque completamente diferente para las secuencias. En lugar de prestar atención a todos los tokens previos, mantienen un estado interno comprimido que resume el historial, con un escalado lineal de O(n) en lugar de cuadrático, y una memoria constante por token durante la inferencia, sin importar cuánto crezca la secuencia.

El mecanismo detrás de esa eficiencia vale la pena entenderlo, porque explica tanto la velocidad como la compensación. Los modelos de espacio de estado clásicos (la familia S4) eran invariantes en el tiempo: la misma matriz de transición fija se aplicaba en cada paso, lo que es rápido pero no puede decidir que un token importa más que otro. La contribución de Mamba fue hacer selectivos esos parámetros de transición (funciones de la entrada actual) para que el modelo pueda elegir dinámicamente qué mantener en su estado comprimido y qué descartar, muy similar a cómo el softmax de la atención decide qué enfatizar, pero sin materializar una matriz de puntajes de O(n²). Para mantener esa recurrencia selectiva rápida, Mamba la ejecuta como un barrido paralelo consciente del hardware: una operación asociativa calculada en la SRAM de la GPU en lugar de un bucle token por token, que es el mismo tipo de ingeniería de núcleos de bajo nivel que FlashAttention hizo para los transformers. Mamba-2 llevó esto aún más lejos con la “dualidad de espacio de estado”, mostrando que un SSM selectivo y una forma restringida de atención lineal calculan la misma operación subyacente, permitiendo que los núcleos de SSM reutilicen el hardware de multiplicación de matrices para el cual las GPUs están optimizadas.

El verdadero avance en producción aquí fue Gated DeltaNet, una mejora sobre Mamba2 que utiliza una regla delta para un mejor manejo de contextos largos. Qwen3.5 lo adoptó como su arquitectura central en febrero de 2026 y obtuvo fuertes resultados en tareas de agentes y benchmarks de programación utilizando solo 3 mil millones de parámetros activos en su configuración híbrida MoE. Esa es una eficiencia impresionante, y mis benchmarks de llama.cpp de Qwen 3.6 MTP frente a decodificación estándar en una GPU de 16 GB dan una idea de cómo se comportan los modelos Qwen en hardware de consumo.

La compensación es estructural, no solo un artefacto del entrenamiento: porque un SSM comprime todo el historial en un estado de tamaño fijo, puede perder detalles finos que los transformers preservan manteniendo cada token pasado individualmente direccionable a través de la atención. Si necesitas copiado o citas exactas, los transformers siguen ganando. Para la mayoría de las cargas de trabajo prácticas (resumen, uso de herramientas agenticas, razonamiento en documentos largos donde la esencia importa más que la memoria literal), la ganancia de eficiencia lo vale.

Modelos de difusión de lenguaje: muchos tokens por pasada de adelante

Los modelos de difusión de lenguaje aplican la misma técnica que transformó la generación de imágenes al texto. En lugar de generar un token a la vez, pueden producir múltiples tokens en paralelo durante cada pasada de adelante.

Nemotron-Labs-Diffusion de NVIDIA, lanzado en mayo de 2026, logró casi 6 veces más tokens por pasada de adelante en comparación con Qwen3-8B manteniendo una precisión competitiva en benchmarks que incluyen HumanEval, GSM8K y Math500. Es un modelo de triple modo que unifica la decodificación autoregresiva, de difusión y de autoespeculación. La difusión de Gemini de Google promete aún más aceleración.

El problema es la calidad frente a la velocidad. Los modelos autoregresivos optimizan la coherencia local en cada paso (el siguiente token más probable). Los modelos de difusión optimizan globalmente en toda la salida, lo que puede mejorar la estructura general, pero a veces sacrifica el detalle fino. Para escritura creativa o lluvia de ideas, la difusión podría ser mejor. Para salida técnica precisa, el autoregresivo sigue ganando.

Vale la pena separar esto de los trucos de tiempo de inferencia. La decodificación especulativa ya entrega varios tokens por pasada de adelante mediante el borrador y la verificación, sin cambiar la distribución de salida. La difusión mueve la generación paralela de tokens de la capa de inferencia a la arquitectura del modelo mismo, una apuesta estructuralmente diferente.

Modelos de mundo y JEPA: prediciendo significado, no tokens

Los modelos de mundo, específicamente la arquitectura JEPA de Yann LeCun, toman el enfoque más radical. En lugar de predecir el siguiente token, predicen la siguiente incrustación latente (una representación comprimida de lo que debería venir después). Eso está más cerca de cómo funciona la cognición humana: no predecimos palabras individuales, predecimos significado.

La diferencia arquitectónica con respecto a los transformers y los modelos de difusión es el decodificador ausente. Un modelo generativo (autoregresivo o de difusión) debe reconstruir su objetivo en el espacio original: píxeles exactos, tokens exactos. Eso fuerza al modelo a gastar capacidad modelando el ruido superficial impredecible: la redacción exacta de una oración, el valor exacto de un píxel de una hoja al viento. La pérdida de JEPA opera enteramente dentro de un espacio de representación aprendido en cambio, comparando una incrustación predicha contra una incrustación objetivo producida por un codificador separado y actualizado lentamente. Nada se decodifica de vuelta a la salida cruda durante el entrenamiento. Eso le permite al predictor descartar el ruido y conservar solo la parte estructural y relevante de la tarea de la señal, que es también, no por casualidad, la parte que es útil para la planificación: un agente puede simular “qué pasa si hago X” avanzando en el espacio latente, sin pagar el costo de renderizar una imagen completa o generar texto completo para cada hipotético.

VL-JEPA logró un rendimiento comparable a los modelos establecidos de visión-lenguaje con solo 1.600 millones de parámetros en comparación con 7 mil millones o más para los competidores. Reduce las operaciones de decodificación en aproximadamente 2.85 veces mientras mejora la precisión en la respuesta de preguntas visuales. Más importante aún, las arquitecturas JEPA están diseñadas para el aprendizaje continuo: construyen modelos internos de cómo funciona el entorno, no solo patrones estadísticos en el texto.

La limitación es que JEPA aún está madurando para tareas puras de lenguaje: LLM-JEPA existe pero aún no ha igualado a los grandes modelos autoregresivos o de difusión en benchmarks estándar, y JEPA no es un reemplazo directo para un chatbot; es un sustrato de aprendizaje de representaciones y planificación que complementa a los modelos de lenguaje más de lo que compite con ellos directamente. Sin embargo, para la IA encarnada y la robótica, donde comprender la causalidad física importa más que generar prosa fluida, JEPA podría ser la arquitectura correcta desde el principio.

Lo que están haciendo los sistemas de producción: arquitecturas híbridas

Los desarrollos más interesantes combinan elementos de múltiples arquitecturas. Jamba de AI21 Labs intercala capas de atención transformer con capas de espacio de estado Mamba: atención para dependencias de largo alcance, SSMs para procesamiento local eficiente. Qwen3.5 combina Gated DeltaNet con Mixture of Experts, activando solo las redes de expertos relevantes para cada entrada. Los proveedores de la nube ya están listando modelos basados en Mamba (Codestral Mamba de Mistral fue el primer lanzamiento open source de Mamba-2) y el [resumen de proveedores de LLM en la nube](https://www.glukhov.org/es/llm-hosting/cloud/cloud-llm-providers/ “Proveedores de LLM en la nube: modelos, precios y capacidades a través de las APIs principales”}) rastrea qué está disponible dónde.

Esa línea híbrida sigue avanzando dentro de las familias principales. Qwen3.8-Flash-Next, la vista previa de la arquitectura para la próxima generación, combina Gated DeltaNet con atención dispersa e incrustaciones n-gramas basadas en búsqueda; [Qwen 4: lo confirmado y lo que significa para la IA local](https://www.glukhov.org/es/ai-models/families/qwen-4/ “Hechos confirmados de Qwen 4, la escala de benchmarks de 27B, pistas de la arquitectura Flash-Next y ajuste para GPU de consumo”}) cubre qué cambia la generación sucesora y qué significa para la implementación local.

Tareas diferentes tienen requisitos diferentes:

• La generación de código podría beneficiarse de la generación paralela de tokens de la difusión.
• El análisis de documentos largos necesita el escalado lineal de un SSM.
• La escritura creativa podría usar la atención transformer para la coherencia.

Una sola arquitectura no resolverá todo. La misma lógica que impulsa el [diseño de sistemas de modelos múltiples](https://www.glukhov.org/es/llm-architecture/model-routing/multi-model-system-design/ “Diseño de sistemas de modelos múltiples: patrones secuenciales, paralelos, jerárquicos y de conjunto”}) (el mecanismo correcto para la tarea correcta) ahora está apareciendo dentro de los modelos mismos.

Si estás construyendo aplicaciones de IA y diseñando para 2027 o 2028, no inviertas en exceso en soluciones puras de transformers. Considera si los componentes SSM o de difusión podrían servir mejor tu caso de uso. El ecosistema está cambiando, y los primeros adoptantes tendrán una ventaja.

Dos implicaciones adicionales merecen seguimiento. El rendimiento de Qwen3.5 con solo 3 mil millones de parámetros activos sugiere que las arquitecturas especializadas y eficientes superarán a los modelos generalistas más grandes para muchas tareas, lo que podría democratizar la implementación de IA y hacer modelos de alto rendimiento accesibles en hardware de consumo. Y los modelos de difusión de lenguaje podrían reducir la latencia en un orden de magnitud para ciertas cargas de trabajo; las aplicaciones que requieren respuesta en tiempo real (agentes conversacionales, traducción en vivo, herramientas interactivas) se beneficiarán más.

Hacia dónde va esto: la era post-transformer

Siguiendo el ciclo de tres años, me esperaría los primeros despliegues en producción de arquitecturas no transformer para 2027–2028. Probablemente serán sistemas híbridos que aprovechen la atención transformer donde sea necesario, pero usen SSMs o difusión para ganancias de eficiencia.

La fase de consolidación en la que estamos ahora, donde los laboratorios demuestran que los LLM pueden razonar y actuar, está dando paso a un desafío más difícil: hacer que estos sistemas sean eficientes, adaptables y conscientes espacialmente. Eso exige avances en el aprendizaje continuo, modelos de mundo y eficiencia arquitectónica. Cada uno aborda limitaciones fundamentales que el puro escalado no puede resolver.

La próxima gran cosa no serán modelos más grandes. Serán arquitecturas más inteligentes que logran más con menos: modelos que comprenden en lugar de solo predecir, que se adaptan en lugar de solo procesar. Eso es lo que viene después de los LLMs. No una sola nueva arquitectura, sino una generación de sistemas especializados y eficientes que finalmente pasan del ajuste de patrones hacia la comprensión genuina.

El mismo tratamiento aplicado a una familia que se lanza hoy comienza con Qwen 4: lo confirmado y lo que significa para la IA local; más análisis del lado del modelo, desde benchmarks hasta compensaciones de cuantización, está un nivel arriba en Modelos de IA.

Referencias

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-llms-as-we-know-them-why-2026-marks-the-beginning-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, mayo de 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” 20 de mayo de 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” febrero de 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, marzo de 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” noviembre de 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” 26 de agosto de 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf