« Que se passe-t-il après les LLM ? Mamba, Diffusion et modèles du monde »

La frénésie de l’IA suit un rythme : environ tous les trois ans, l’architecture sur laquelle tous parient est remplacée par quelque chose de plus récent. Le prochain changement est déjà en train de se dessiner dans les laboratoires de recherche.

Ce qui suit est un tour des candidats les plus solides pour remplacer le transformer, et des preuves que le changement est déjà en cours. Le schéma se répète : une architecture dominante, un mur qu’elle ne peut pas dépasser, et une nouvelle conception qui contourne ce mur.

Cet article passe en revue les quatre limites qui menacent les transformers, les trois architectures alternatives, et ce que les systèmes hybrides déjà en production nous disent. L’objectif est une lecture pratique pour les ingénieurs qui décident de quoi architecturer pour 2027 et au-delà — pas un marché de prédictions, juste les preuves telles qu’elles se présentent en 2026.

Le schéma : le cycle des percées de l’IA de trois ans

Tous les quelques années, le centre de gravité de l’IA se déplace :

Les transformers sont apparus vers 2017 et ont fait paraître les RNN et les CNN comme des reliques. Les modèles de diffusion ont ensuite pris le relais dans la génération d’images entre 2020 et 2022. Et les LLMs ont explosé dans tous les domaines à partir de 2022 avec GPT-3 et ChatGPT.

Selon ce schéma, nous devrions approcher le prochain changement. Il est déjà en cours — juste pas là où vous vous y attendez. Pas sur les réseaux sociaux ou dans des communiqués de presse, mais dans les laboratoires de recherche.

Yann LeCun a passé 2025 à argumenter que les LLMs autorégressifs sont fondamentalement limités. « Nous avons besoin de modèles mondiaux, pas de prédicteurs de mots », a-t-il déclaré de conférence en conférence. Pendant ce temps, son équipe a publié une série d’articles sur l’Architecture de Prédiction par Intégration Jointe (JEPA) — d’abord pour les images, puis la vidéo, puis le langage en septembre 2025.

Les preuves étayantes des douze derniers mois sont inhabituellement concrètes :

• Les modèles d’espace d’état comme Mamba gèrent des contextes de millions de jetons avec un échelonnement linéaire — ce que les transformers ne peuvent pas faire à cause de leur mécanisme d’attention quadratique.
• Google a annoncé Gemini Diffusion, promettant une génération de texte jusqu’à 10 fois plus rapide.
• NVIDIA a livré Nemotron 3 avec des couches Mamba-2 intégrées.
• Le Qwen3.5 chinois est passé en production en utilisant Gated DeltaNets.
• En décembre 2025, VL-JEPA est arrivé — un modèle vision-langage avec la moitié des paramètres de ses concurrents qui a tout de même performé mieux.

Pourquoi les transformers sont en train d’épuiser leurs limites

Les transformers sont incroyables dans ce qu’ils font. Mais quatre problèmes les menacent que rien en termes de mise à l’échelle ne peut corriger.

L’attention quadratique lâche avec les contextes longs

L’auto-attention signifie que chaque jeton parle à tous les autres — complexité O(n²). Doublez votre contexte et vous quadruplez le calcul. À 10 millions de jetons, les mathématiques cassent simplement. Vous pouvez y mettre plus de GPU, mais vous combattez l’arithmétique de base.

Les données d’entraînement s’épuisent

Les LLMs s’entraînent sur du texte d’internet, et d’ici 2026, la plupart l’ont déjà été grappés. Livres, Wikipédia, Reddit, GitHub — tout est consommé. Les données synthétiques semblent être une solution jusqu’à ce que vous réalisiez que les modèles entraînés sur du texte généré par IA se dégradent au fil des générations : ils apprennent les artefacts et les biais du processus de génération lui-même. Les lois d’échelle qui ont alimenté tout depuis 2020 à 2024 atteignent des rendements décroissants.

L’énergie et les coûts sont la limite dure

Les modèles de pointe coûtent des dizaines ou des centaines de millions pour s’entraîner maintenant. Le service de milliards de demandes quotidiennes consomme un calcul massif. Les centres de données IA ont besoin de gigawatts de puissance, et la capacité de génération d’électricité devient un goulot d’étranglement. Sam Altman a admis en 2024 que les coûts de calcul limitent tout — et cela n’a pas changé.

Si la contrainte est l’énergie, la réponse peut venir du côté du modèle ou du côté de la silice. Mes notes sur l’optimisation des coûts pour les systèmes LLM et sur les puces d’inférence LLM spécialisées couvrent chaque aspect de ce compromis.

La correspondance de motifs n’est pas de la compréhension

Les LLMs sont des correspondants de motifs à grande échelle, prédicteurs du jeton suivant à partir des données d’entraînement. Exceptionnels là-dedans, oui — mais pas en raisonnement, et pas en compréhension des relations causales dans le monde physique. Si vous voulez une IA qui peut planifier, simuler ou s’adapter vraiment à de nouveaux environnements, la prédiction de jetons ne vous y mènera pas.

Modèles d’espace d’état : échelonnement linéaire avec une mémoire compressée

Les modèles d’espace d’état (SSM) tels que Mamba et Gated DeltaNet prennent une approche complètement différente pour les séquences. Au lieu de prêter attention à tous les jetons précédents, ils maintiennent un état interne compressé qui résume l’historique — un échelonnement linéaire O(n) au lieu de quadratique, avec une mémoire constante par jeton lors de l’inférence, quelle que soit la longueur de la séquence.

Le mécanisme derrière cette efficacité vaut la peine d’être compris, car il explique à la fois la vitesse et le compromis. Les modèles d’espace d’état classiques (la famille S4) étaient invariants dans le temps : la même matrice de transition fixe appliquée à chaque étape, ce qui est rapide mais ne peut pas décider qu’un jeton est plus important qu’un autre. La contribution de Mamba a été de rendre ces paramètres de transition sélectifs — fonctions de l’entrée courante — afin que le modèle puisse dynamiquement choisir quoi garder dans son état compressé et quoi jeter, un peu comme la softmax de l’attention décide quoi mettre en avant, mais sans matérialiser une matrice de scores O(n²). Pour garder cette récurrence sélective rapide, Mamba l’exécute comme un balayage parallèle conscient du matériel : une opération associative calculée en SRAM du GPU plutôt qu’une boucle jeton par jeton, ce qui est le même type d’ingénierie de noyau bas niveau que FlashAttention a fait pour les transformers. Mamba-2 a poussé cela plus loin avec la « dualité d’espace d’état », montrant qu’un SSM sélectif et une forme restreinte d’attention linéaire calculent la même opération sous-jacente — permettant aux noyaux SSM de réutiliser le matériel de multiplication de matrices pour lequel les GPU sont optimisés.

La véritable percée en production ici a été Gated DeltaNet, une amélioration de Mamba2 qui utilise une règle delta pour une meilleure gestion des contextes longs. Qwen3.5 l’a adopté comme architecture principale en février 2026 et a obtenu de bons résultats sur les tâches d’agent et les benchmarks de codage en utilisant seulement 3 milliards de paramètres actifs dans sa configuration MoE hybride. C’est une efficacité impressionnante, et mes benchmarks llama.cpp de Qwen 3.6 MTP par rapport au décodage standard sur un GPU de 16 Go donnent une idée de la manière dont les modèles Qwen se comportent sur le matériel grand public.

Le compromis est structurel, pas juste un artefact d’entraînement : parce qu’un SSM compresse tout l’historique dans un état de taille fixe, il peut perdre des détails fins que les transformers préservent en gardant chaque jeton passé individuellement adressable par l’attention. Si vous avez besoin de copie exacte ou de citation, les transformers gagnent encore. Pour la plupart des charges de travail pratiques — résumés, utilisation d’outils agentique, raisonnement sur de longs documents où l’essentiel importe plus que le rappel verbatim — le gain d’efficacité en vaut la peine.

Modèles de diffusion pour le langage : de nombreux jetons par passe avant

Les modèles de diffusion pour le langage appliquent la même technique qui a transformé la génération d’images au texte. Au lieu de générer un jeton à la fois, ils peuvent produire plusieurs jetons en parallèle pendant chaque passe avant.

Le Nemotron-Labs-Diffusion de NVIDIA, sorti en mai 2026, a atteint presque 6 fois plus de jetons par passe avant par rapport à Qwen3-8B tout en maintenant une précision compétitive sur des benchmarks incluant HumanEval, GSM8K et Math500. C’est un modèle tri-mode qui unifie le décodage autorégressif, de diffusion et d’auto-spéculation. Gemini Diffusion de Google promet encore plus d’accélération.

L’embûche est la qualité par rapport à la vitesse. Les modèles autorégressifs optimisent la cohérence locale à chaque étape — le jeton suivant le plus probable. Les modèles de diffusion optimisent globalement sur l’ensemble de la sortie, ce qui peut améliorer la structure générale mais sacrifie parfois le détail fin. Pour l’écriture créative ou le brainstorming, la diffusion pourrait être meilleure. Pour une sortie technique précise, l’autorégression gagne encore.

Il vaut la peine de séparer cela des astuces lors de l’inférence. Le décodage spéculatif fournit déjà plusieurs jetons par passe avant en ébauchant et en vérifiant, sans changement à la distribution de sortie. La diffusion déplace la génération parallèle de jetons de la couche d’inférence vers l’architecture du modèle lui-même — un pari structurellement différent.

Modèles mondiaux et JEPA : prédire le sens, pas les jetons

Les modèles mondiaux, spécifiquement l’architecture JEPA de Yann LeCun, prennent l’approche la plus radicale. Au lieu de prédire le jeton suivant, ils prédisent le prochain plongement latent — une représentation compressée de ce qui devrait venir ensuite. C’est plus proche de la manière dont la cognition humaine fonctionne : nous ne prédisons pas des mots individuels, nous prédisons le sens.

La différence architecturale par rapport aux transformers et aux modèles de diffusion est le décodeur manquant. Un modèle génératif — autorégressif ou de diffusion — doit reconstruire sa cible dans l’espace d’origine : pixels exacts, jetons exacts. Cela force le modèle à dépenser de la capacité à modéliser le bruit de surface imprévisible : la formulation exacte d’une phrase, la valeur de pixel exacte d’une feuille au vent. La perte de JEPA opère entièrement à l’intérieur d’un espace de représentation appris au lieu, comparant un plongement prédit contre un plongement cible produit par un encodeur séparé, mis à jour lentement. Rien n’est décodé vers une sortie brute pendant l’entraînement. Cela permet au prédicteur de jeter le bruit et de garder seulement la partie structurelle, pertinente pour la tâche, du signal — ce qui est aussi, non par coïncidence, la partie qui est utile pour la planification : un agent peut simuler « que se passe-t-il si je fais X » en déroulant vers l’avant dans l’espace latent, sans payer le coût de rendre une image complète ou de générer un texte complet pour chaque hypothèse.

VL-JEPA a atteint des performances comparables aux modèles vision-langage établis avec seulement 1,6 milliard de paramètres par rapport à 7 milliards ou plus pour les concurrents. Il réduit les opérations de décodage d’environ 2,85 fois tout en améliorant la précision sur la question-réponse visuelle. Plus important encore, les architectures JEPA sont conçues pour l’apprentissage continu — elles construisent des modèles internes de la manière dont l’environnement fonctionne, pas juste des motifs statistiques dans le texte.

La limite est que JEPA est encore en maturation pour les tâches de langage pures : LLM-JEPA existe mais n’a pas encore égalé les grands modèles autorégressifs ou de diffusion sur les benchmarks standard, et JEPA n’est pas un remplacement direct pour un chatbot — c’est un substrat d’apprentissage de représentation et de planification qui complète les modèles de langage plus qu’il ne les concurrence directement. Pour l’IA incarnée et la robotique, cependant — là où la compréhension de la causalité physique importe plus que la génération de prose fluide — JEPA pourrait être la bonne architecture dès le départ.

Ce que les systèmes de production font : architectures hybrides

Les développements les plus intéressants combinent des éléments de plusieurs architectures. Jamba de AI21 Labs alterne des couches d’attention transformer avec des couches d’espace d’état Mamba — l’attention pour les dépendances longue portée, les SSM pour un traitement local efficace. Qwen3.5 combine Gated DeltaNet avec Mixture of Experts, n’activant que les réseaux d’experts pertinents pour chaque entrée. Les fournisseurs de cloud listent déjà des modèles basés sur Mamba — Codestral Mamba de Mistral était la première sortie open source Mamba-2 — et le aperçu des fournisseurs LLM cloud suit ce qui est disponible où.

Cette lignée hybride continue de progresser à l’intérieur des familles mainstream. Qwen3.8-Flash-Next, l’aperçu de l’architecture pour la prochaine génération, associe Gated DeltaNet à une attention sparse et à des plongements de n-grammes basés sur des tables de recherche — Qwen 4 : ce qui est confirmé et ce que cela signifie pour l’IA locale couvre ce que la génération successeur change et ce que cela signifie pour le déploiement local.

Tâches différentes ont des exigences différentes :

• La génération de code pourrait bénéficier de la génération parallèle de jetons de la diffusion.
• L’analyse de documents longs a besoin de l’échelonnement linéaire d’un SSM.
• L’écriture créative pourrait utiliser l’attention transformer pour la cohérence.

Une architecture unique ne résoudra pas tout. La même logique qui conduit à la conception de systèmes multi-modèles — le bon mécanisme pour la bonne tâche — apparaît maintenant à l’intérieur des modèles eux-mêmes.

Si vous construisez des applications IA et architecturez pour 2027 ou 2028, n’investissez pas excessivement dans des solutions transformer pures. Considérez si des composants SSM ou de diffusion pourraient mieux servir votre cas d’usage. L’écosystème est en train de changer, et les premiers adopteurs auront un avantage.

Deux implications supplémentaires méritent d’être suivies. Les performances de Qwen3.5 avec seulement 3 milliards de paramètres actifs suggèrent que les architectures spécialisées et efficaces surpasseront les grands modèles polyvalents pour de nombreuses tâches — ce qui pourrait démocratiser le déploiement de l’IA et rendre les modèles haute performance accessibles sur le matériel grand public. Et les modèles de diffusion pour le langage pourraient réduire la latence d’un ordre de grandeur pour certaines charges de travail ; les applications nécessitant une réponse en temps réel — agents conversationnels, traduction en direct, outils interactifs — en bénéficieront le plus.

Où cela va : l’ère post-transformer

En suivant le cycle de trois ans, je m’attendrais aux premiers déploiements en production d’architectures non-transformers d’ici 2027–2028. Ce seront probablement des systèmes hybrides qui exploitent l’attention transformer là où c’est nécessaire mais utilisent les SSM ou la diffusion pour des gains d’efficacité.

La phase de consolidation dans laquelle nous sommes maintenant — où les laboratoires prouvent que les LLMs peuvent raisonner et agir — cède la place à un défi plus ardu : rendre ces systèmes efficaces, adaptables et spatialement conscients. Cela exige des percées dans l’apprentissage continu, les modèles mondiaux et l’efficacité architecturale. Chacun aborde des limites fondamentales que la mise à l’échelle pure ne peut pas résoudre.

La prochaine grande chose ne sera pas des modèles plus gros. Ce seront des architectures plus intelligentes qui accomplissent plus avec moins — des modèles qui comprennent plutôt que de juste prédire, qui s’adaptent plutôt que de juste traiter. C’est ce qui vient après les LLMs. Pas une seule nouvelle architecture, mais une génération de systèmes spécialisés et efficaces qui passent enfin de la correspondance de motifs vers une compréhension véritable.

Le même traitement appliqué à une famille qui sort aujourd’hui commence par Qwen 4 : ce qui est confirmé et ce que cela signifie pour l’IA locale ; plus d’analyse côté modèle, des benchmarks aux compromis de quantification, est un niveau au-dessus à Modèles IA.

Références

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf