LLM 이후의 패러다임: Mamba, 디퓨전 및 월드 모델

AI 과열은 리듬을 따라갑니다: 대략 3년마다, 모두가 베팅하고 있던 아키텍처가 더 새로운 것으로 대체됩니다. 다음 전환은 이미 연구실 안에서 형성되고 있습니다.

다음은 트랜스포머를 대체할 가장 강력한 후보들과, 이러한 전환이 이미 진행 중임을 보여주는 증거에 대한 tour입니다. 이 패턴은 반복됩니다: 지배적인 아키텍처, 그 이상으로 스케일링할 수 없는 한계(벽), 그리고 그 벽을 우회하는 새로운 디자인.

이 글은 트랜스포머를 옥죄어 오는 4가지 한계, 3가지 대안 아키텍처, 그리고 이미 프로덕션에 있는 하이브리드 시스템이 우리에게 무엇을 알려주는지 살펴봅니다. 목표는 2027년 이후를 위해 무엇을 아키텍처링할지 결정하는 엔지니어들을 위한 실용적인 읽기입니다 — 예측 시장은 아니며, 단지 2026년 현재에 보이는 증거에 기반한 것입니다.

패턴: AI의 3년 단위 돌파 사이클

몇 년마다 AI의 중력이 이동합니다:

트랜스포머는 2017년경 등장하며 RNN과 CNN을 유물로 만들었습니다. 디퓨전 모델은 2020년부터 2022년 사이 이미지 생성을 장악했습니다. 그리고 LLM은 2022년에 GPT-3와 ChatGPT로 시작해 모든 것으로 확산되었습니다.

그 패턴에 따라, 우리는 다음 전환에 근접해야 합니다. 이미 일어나고 있습니다 — 다만 예상하는 곳에서 일어나지는 않습니다. 소셜 미디어나 보도 자료에서가 아니라, 연구실에서 일어나고 있습니다.

얀 르쿤(Yann LeCun)은 2025년 전체를 자거동적(autoregressive) LLM이 근본적으로 제한되어 있다고 주장하며 보냈습니다. “우리는 단어 예측자가 아니라 세계 모델이 필요하다"고 그는 컨퍼런스에서 또 컨퍼런스를 마다하며 말했습니다. 그동안 그의 팀은 결합 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture, JEPA)에 대한 논문 시리즈를 발표했습니다 — 처음에는 이미지를 위해, 그다음 영상으로, 그리고 2025년 9월에는 언어로 확장했습니다.

지난 12개월간의 보조 증거는 비정상적으로 구체적입니다:

• Mamba와 같은 상태 공간 모델(SSM)은 선형 스케일링으로 백만 토큰 컨텍스트를 처리합니다 — 트랜스포머는 이차적 어텐션 메커니즘 때문에 이걸 할 수 없습니다.
• Google은 최대 10배 빠른 텍스트 생성을 약속하는 Gemini Diffusion을 발표했습니다.
• NVIDIA는 Mamba-2 레이어를 내장한 Nemotron 3을 출시했습니다.
• 중국의 Qwen3.5는 Gated DeltaNets를 사용하여 출시되었습니다.
• 2025년 12월, VL-JEPA가 등장했습니다 — 경쟁 모델 대비 절반의 파라미터 수임에도 더 나은 성능을 낸 비전-언어 모델입니다.

트랜스포머가 막막해지는 이유

트랜스포머는 그들이 하는 일에서 놀랍습니다. 하지만 스케일링이 어느 정도를 해도 해결할 수 없는 4가지 문제가 다가오고 있습니다.

장문 컨텍스트에서 깨지는 이차적 어텐션

셀프 어텐션(Self-attention)은 모든 토큰이 다른 모든 토큰과 소통한다는 것을 의미합니다 — O(n²) 복잡도입니다. 컨텍스트를 두 배로 늘리면 계산량은 네 배가 됩니다. 1,000만 토큰에서는 수학적으로 단순히 깨집니다. 더 많은 GPU를 투입할 수는 있지만, 기본적인 산수법칙과 싸우고 있는 셈입니다.

학습 데이터가 고갈되고 있습니다

LLM은 인터넷 텍스트로 학습하며, 2026년까지 그 대부분이 스크래핑되었습니다. 책, 위키피디아, Reddit, GitHub — 모두 소진되었습니다. 합성 데이터는 수정책처럼 들리지만, AI 생성 텍스트로 학습한 모델은 세대가 지날수록 열화(degrade)한다는 사실을 깨달으면 다릅니다: 그들은 생성 과정 자체의 아티팩트와 편향을 학습합니다. 2020년에서 2024년까지 모든 것을 구동해 온 스케일링 법칙은 감소하는 수익(diminishing returns)에 직면하고 있습니다.

에너지와 비용은 경이적인 상한입니다

프론티어 모델을 학습시키는 데는 이제 수천만에서 수억 달러가 듭니다. 매일 수십억 건의 요청을 서빙하는 것은 막대한 컴퓨트를 소모합니다. AI 데이터 센터는 기가와트의 전력을 필요로 하며, 발전 능력은 병목이 되고 있습니다. Sam Altman은 2024년에 컴퓨트 비용이 모든 것을 제한한다고 인정했으며, 그것으로 변하지 않았습니다.

제약이 에너지라면, 답은 모델 쪽이나 실리콘 쪽에서 나올 수 있습니다. 제 LLM 시스템 비용 최적화에 대한 노트와 전문화 LLM 추론 칩에 대한 노트는 그 트레이드오프의 각 측면을 다루고 있습니다.

패턴 매칭은 이해가 아닙니다

LLM은 스케일화된 패턴 매처로서, 학습 데이터로부터 다음 토큰을 예측합니다. 그것에서 뛰어나다는 것은 인정합니다 — 하지만 추론을 하지 않으며, 물리적 세계의 인과 관계를 이해하지도 않습니다. 계획할 수 있고, 시뮬레이션할 수 있고, 새로운 환경에 진정으로 적응할 수 있는 AI를 원한다면, 토큰 예측은 그곳에 도달시키지 못합니다.

상태 공간 모델: 압축된 메모리를 통한 선형 스케일링

Mamba와 Gated DeltaNet과 같은 상태 공간 모델(SSM)은 시퀀스에 대한 완전히 다른 접근을 취합니다. 이전 토큰 모두에 어텐션을 기울이는 대신, 그들은 역사를 요약하는 압축된 내부 상태를 유지합니다 — 이차적 대신 선형 O(n) 스케일링, 그리고 시퀀스가 얼마나 길어지든 추론 시 토큰당 메모리는 일정합니다.

그 효율성의 뒤에는 이해할 가치가 있는 메커니즘이 있습니다, 그것은 속도도 트레이드오프도 설명하기 때문입니다. 고전적 상태 공간 모델(S4 패밀리)은 시 불변(time-invariant)이었습니다: 모든 단계에서 동일한 고정 전이 행렬이 적용되었으며, 이는 빠르지만 한 토큰이 다른 토큰보다 더 중요하다는 것을 결정할 수 없었습니다. Mamba의 기여는 그 전이 파라미터들을 *선택적(selective)*으로 만든 것이었습니다 — 현재 입력의 함수 — 그래서 모델은 압축된 상태에 무엇을 유지하고 무엇을 폐기할 것인지 동적으로 선택할 수 있으며, 어텐션의 소프트맥스가 무엇을 강조할지 결정하는 것과 매우 유사하지만, O(n²) 점수 행렬을 물질화하지는 않습니다. 그 선택적 재귀를 빠르도록 유지하기 위해, Mamba는 이를 하드웨어 인식 병렬 스캔으로 실행합니다: 토큰별 루프가 아니라 GPU SRAM에서 계산되는 결합 연산(associative operation)이며, 이는 FlashAttention이 트랜스포머를 위해 했던 것과 같은 종류의 저레벨 커널 엔지니어링입니다. Mamba-2는 “상태 공간 이중성(state space duality)“으로 이를 더 밀어붙여, 선택적 SSM과 선형 어텐션의 제한된 형태가 동일한 근본 연산을 계산한다는 것을 보여주었습니다 — SSM 커널이 GPU가 최적화되어 있는 행렬 곱 하드웨어를 재사용할 수 있게 허용합니다.

여기서의 진정한 프로덕션 돌파구는 Gated DeltaNet이었습니다, 이는 더 나은 장문 컨텍스트 처리를 위해 델타 규칙을 사용하는 Mamba2의 개선된 버전입니다. Qwen3.5는 2026년 2월에 이를 핵심 아키텍처로 채택했으며, 하이브리드 MoE 구성에서 활성 파라미터는 단 30억 개에 불과함에도 에이전트 작업과 코딩 벤치마크에서 강력한 결과를 얻었습니다. 인상적인 효율성이며, 제 16GB GPU에서의 Qwen 3.6 MTP와 표준 디코딩 비교는 소비자 하드웨어에서 Qwen 모델이 어떻게 동작하는지에 대한 감각을 제공합니다.

트레이드오프는 구조적이며, 단순히 학습 아티팩트가 아닙니다: SSM이 고정 크기 상태로 전체 역사를 압축하기 때문에, 어텐션을 통해 과거 모든 토큰을 개별적으로 주소화하여 유지하는 트랜스포머가 보존하는 세부적인 디테일을 잃을 수 있습니다. 정확한 복사나 인용이 필요하면, 트랜스포머가 여전히 우세합니다. 대부분의 실용적인 워크로드 — 요약, 에이전틱 도구 사용, 직역 회고보다 요지가 더 중요한 장문 문서 추론 — 에는, 효율성 향상이 가치가 있습니다.

디퓨전 언어 모델: 포워드 패스당 많은 토큰

디퓨전 언어 모델은 이미지 생성을 변화시킨 것과 동일한 기법을 텍스트에 적용합니다. 한 번에 하나의 토큰을 생성하는 대신, 각 포워드 패스 중에 병렬로 다중 토큰을 생성할 수 있습니다.

2026년 5월에 출시된 NVIDIA의 Nemotron-Labs-Diffusion은 HumanEval, GSM8K, Math500을 포함한 벤치마크 전반에서 경쟁력 있는 정확도를 유지하면서 Qwen3-8B 대비 거의 6배의 토큰/포워드 패스를 달성했습니다. 이는 자거동적, 디퓨전, 그리고 자기-기만(self-speculation) 디코딩을 통합하는 3모드 모델입니다. Google의 Gemini Diffusion은 더 많은 속도 향상을 약속합니다.

걸리는 점은 품질 대 속도입니다. 자거동적 모델은 각 단계에서 로컬 일관성(local coherence)을 최적화합니다 — 가장 확률 높은 다음 토큰. 디퓨전 모델은 전체 출력에 걸쳐 전역적으로 최적화하며, 이는 전체 구조를 개선할 수 있지만 때로는 세부적인 디테일을 희생시킵니다. 창의적 글쓰기나 브레인스토밍에는, 디퓨전이 더 나을 수 있습니다. 정밀한 기술적 출력에는, 자거동식이 여전히 우세합니다.

이를 추론 시 트릭(inference-time tricks)과 구분하는 것이 중요합니다. 기만 디코딩(Speculative decoding)은 이미 초안 작성과 검증을 통해 포워드 패스당 여러 토큰을 달성하며, 출력 분포에는 변경이 없습니다. 디퓨전은 병렬 토큰 생성을 추론 레이어에서 모델 아키텍처 자체로 이동시킵니다 — 구조적으로 다른 베팅입니다.

세계 모델과 JEPA: 토큰이 아닌 의미를 예측

세계 모델, 특히 얀 르쿤의 JEPA 아키텍처는 가장 급진적인 접근을 취합니다. 다음 토큰을 예측하는 대신, 다음 잠재 임베딩(next latent embedding) — 다음에 오어야 할 것의 압축된 표현 — 을 예측합니다. 이는 인간의 인지 방식에 더 가깝습니다: 우리는 개별 단어를 예측하지 않고, 의미를 예측합니다.

트랜스포머와 디퓨전 모델 모두와의 구조적 차이는 누락된 디코더입니다. 생성 모델 — 자거동적이든 디퓨전이든 — 은 원래 공간에서 그 타겟을 재구성해야 합니다: 정확한 픽셀, 정확한 토큰. 이는 모델이 예측 불가능한 표면 노이즈를 모델링하는 데 용량을 쓰도록 강제합니다: 문장의 정확한 구어체, 바람 속 나뭇잎의 정확한 픽셀 값. JEPA의 손실은 완전히 학습된 표현 공간 내에서 작동하며, 분리된, 느리게 업데이트되는 인코더가 생성한 타겟 임베딩과 예측된 임베딩을 비교합니다. 학습 중에 원시 출력으로 디코딩되는 것이 없습니다. 이는 예측기가 노이즈를 폐기하고 신호의 구조적, 작업 관련 부분만 유지하도록 허용합니다 — 우연이 아니게도, 계획에 유용한 부분이기도 합니다: 에이전트는 잠재 공간을 통해 앞으로 굴림(rolling forward)하여 “X를 하면 어떻게 되는가"를 시뮬레이션할 수 있으며, 가설마다 전체 이미지를 렌더링하거나 전체 텍스트를 생성하는 비용 지불 없이.

VL-JEPA는 경쟁 모델 대비 70억 이상인 반면 단 16억 파라미터로 확립된 비전-언어 모델과 비교 가능한 성능을 달성했습니다. 시각 질의응답의 정확도를 개선하면서 디코딩 연산을 약 2.85배로 줄입니다. 더 중요하게, JEPA 아키텍처는 지속적 학습(continual learning)을 위해 설계되었습니다 — 텍스트의 통계적 패턴이 아니라, 환경이 어떻게 작동하는지에 대한 내부 모델을 구축합니다.

한계는 JEPA가 순수 언어 작업에서 여전히 성숙하고 있다는 것입니다: LLM-JEPA는 존재하지만 표준 벤치마크에서 대형 자거동적 또는 디퓨전 모델을 아직 따라잡지 못했으며, JEPA는 챗봇의 드롭인 교체(drop-in replacement)가 아닙니다 — 언어 모델과 경쟁하기보다 보완하는 표현 학습과 계획의 기질(substrate)입니다. 그러나 물리적 인과성이 유창한 산문 생성보다 중요한 곳, 즉 옴바디드 AI와 로봇공학에서 — JEPA는 처음부터 올바른 아키텍처일 수 있습니다.

프로덕션 시스템이 하는 것: 하이브리드 아키텍처

가장 흥미로운 발전은 여러 아키텍처의 요소를 결합합니다. AI21 Labs의 Jamba는 트랜스포머 어텐션 레이어를 Mamba 상태 공간 레이어와 교차(interleave)시킵니다 — 장거리 의존성은 어텐션으로, 효율적인 로컬 처리는 SSM으로. Qwen3.5는 Gated DeltaNet을 Mixture of Experts와 결합하여, 각 입력에 대해 관련 있는 전문가 네트워크만 활성화합니다. 클라우드 제공자들은 이미 Mamba 기반 모델을 나열하고 있으며 — Mistral의 Codestral Mamba가 첫 공개 소스 Mamba-2 릴리스였습니다 — 그리고 클라우드 LLM 제공자 개요는 어디서 무엇이 가능한지 추적합니다.

그 하이브리드 라인은 여전히 주류 패밀리 내부에서 진화하고 있습니다. Qwen3.8-Flash-Next, 다음 세대의 아키텍처 프리뷰는, Gated DeltaNet를 희소 어텐션과 조회 기반(lookup-based) n-그램 임베딩과 페어링합니다 — Qwen 4: 확인된 것과 로컬 AI에 대한 의미는 후속 세대와 로컬 배포에 그 의미에 대해 다룹니다.

다른 작업은 다른 요구사항을 가집니다:

• 코드 생성은 디퓨전의 병렬 토큰 생성에서 이득을 볼 수 있습니다.
• 장문 문서 분석은 SSM의 선형 스케일링을 필요로 합니다.
• 창의적 글쓰기는 일관성을 위해 트랜스포머 어텐션을 사용할 수 있습니다.

단일 아키텍처가 모든 것을 해결하지는 못합니다. 멀티 모델 시스템 설계를 구동하는 것과 동일한 논리 — 올바른 작업을 위한 올바른 메커니즘 — 가 이제 모델 자체 내부에서 나타나고 있습니다.

AI 애플리케이션을 빌드하고 2027년 또는 2028년을 위해 아키텍처링하고 있다면, 순수 트랜스포머 솔루션에 과잉 투자하지 마십시오. SSM 또는 디퓨전 구성 요자가 여러분의 유스케이스에 더 잘 부합할 수 있는지 고려하십시오. 생태계는 이동하고 있으며, 초기 채택자들이 이점을 가질 것입니다.

두 가지 추가적인 함의는 추적할 가치가 있습니다. 단 30억 활성 파라미터로 Qwen3.5의 성능은, 특화되고 효율적인 아키텍처가 많은 작업에서 더 큰 범용 모델보다 우수할 수 있음을 시사합니다 — 이는 AI 배포를 민주화하고, 소비자 하드웨어에서 고성능 모델을 접근 가능하게 만들 수 있습니다. 그리고 디퓨전 언어 모델은 특정 워크로드에서 지연을 10분의 1로 줄일 수 있습니다; 실시간 응답이 필요한 애플리케이션 — 대화형 에이전트, 라이브 번역, 인터랙티브 도구 — 이 가장 큰 이득을 볼 것입니다.

이 방향이 어디로 향하는가: 포스트-트랜스포머 시대

3년 사이클을 따르자면, 2027–2028년까지 비트랜스포머 아키텍처의 첫 프로덕션 배포를 기대할 것입니다. 이들은 아마도 필요한 곳에서는 트랜스포머 어텐션을 활용하되, 효율성 향상을 위해 SSM이나 디퓨전을 사용할 하이브리드 시스템이 될 것입니다.

우리가 현재 있는 통합 단계 — 연구소들이 LLM이 추론하고 행동할 수 있음을 증명하는 단계 — 는 더 어려운 도전으로 물러나고 있습니다: 이러한 시스템을 효율적이고, 적응적이며, 공간 인지가 되도록 만드는 것입니다. 이는 지속적 학습, 세계 모델, 그리고 아키텍처 효율성에서 돌파구를 요구합니다. 각각은 순수한 스케일링으로 해결할 수 없는 근본적인 한계를 다룹니다.

다음 큰일은 더 큰 모델이 아닐 것입니다. 더 적은 것으로 더 많은 것을 이끄는, 더 스마트한 아키텍처일 것입니다 — 단순히 예측하기보다 이해하는, 단순히 처리하기보다 적응하는 모델. 그것이 LLM 이후에 오는 것입니다. 단일한 새로운 아키텍처가 아니라, 드디어 패턴 매칭을 넘어 진정한 이해로 나아가는 특화되고 효율적인 시스템의 세대입니다.

오늘 출시되는 패밀리에는 동일한 처리가 적용되며, Qwen 4: 확인된 것과 로컬 AI에 대한 의미로 시작됩니다; 벤치마크에서 양자화 트레이드오프까지 모델 쪽 분석은 한 단계 위 AI 모델에 있습니다.

참고 문헌

1. Adaline Labs. “The AI Research Landscape in 2026: From Agentic AI to Embodiment.” https://labs.adaline.ai/p/the-ai-research-landscape-in-2026
2. Aftab, A. “The End of LLMs As We Know Them: Why 2026 Marks the Beginning of AI’s Next Architecture Revolution.” Medium, 2025. https://medium.com/@aftab001x/the-end-of-llms-as-we-know-them-why-2026-marks-the-beginning-of-ais-next-architecture-revolution-902ee29484f7
3. Greengard, S. “Beyond LLMs: A Post-Transformer World Emerges.” Communications of the ACM, May 2026. https://cacm.acm.org/news/beyond-llms-a-post-transformer-world-emerges
4. NVIDIA. “Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.” arXiv:2607.05722, 2026. https://arxiv.org/html/2607.05722v1
5. MarkTechPost. “NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B.” May 20, 2026. https://www.marktechpost.com/2026/05/20/nvidia-ai-releases-nemotron-labs-diffusion-a-tri-mode-language-model-with-6x-tokens-per-forward-over-qwen3-8b
6. Chen, D. et al. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” arXiv:2512.10942, 2025. https://arxiv.org/pdf/2512.10942
7. OpenReview. “VL-JEPA: Joint Embedding Predictive Architecture for Vision-language.” https://openreview.net/forum?id=tjimrqc2BU
8. NVIDIA Research. “Gated Delta Networks: Improving Mamba2 with Delta Rule.” ICLR 2025. https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule
9. Laon People. “Why Did Qwen3.5 Choose Gated DeltaNet?” February 2026. https://laonpeople.com/en/blog/why-did-qwen3-5-choose-gated-deltanet
10. Google DeepMind. “Gemini Diffusion.” https://deepmind.google/models/gemini-diffusion
11. Vicentino, C. “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison.” arXiv:2603.22075, March 2026. https://www.alphaxiv.org/abs/2603.22075
12. JetBrains AI Blog. “Why Diffusion Models Could Change Developer Workflows in 2026.” November 2025. https://blog.jetbrains.com/ai/2025/11/why-diffusion-models-could-change-developer-workflows-in-2026
13. Spheron Blog. “Mamba-3 and State Space Models on GPU Cloud: Deploy SSM Inference as the Transformer Alternative (2026 Guide).” https://www.spheron.network/blog/mamba-3-state-space-model-gpu-cloud-deployment
14. Gartner. “Gartner Predicts 40 Percent of Enterprise Apps Will Feature Task-Specific AI Agents by 2026.” August 26, 2025. https://www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025
15. Reddit r/deeplearning. “Following a 3-year AI breakthrough cycle.” https://www.reddit.com/r/deeplearning/comments/1k8gdwg/following_a_3year_ai_breakthrough_cycle
16. Gu, A., Dao, T. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” arXiv:2312.00752, 2023. https://doi.org/10.48550/arxiv.2312.00752
17. Dao, T., Gu, A. “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2).” arXiv:2405.21060, 2024. https://arxiv.org/abs/2405.21060
18. Meta AI Blog. “The first AI model based on Yann LeCun’s vision for more human-like AI (I-JEPA).” https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
19. LeCun, Y. “A Path Towards Autonomous Machine Intelligence.” Position paper, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf