AIモデル:能力分析、アーキテクチャ、およびファミリーガイド

モデル自体の分析:ファミリー、アーキテクチャ、トレードオフ。

目次

モデル選びと、その実行は別の問題です。ランタイム、GPU、サービングスタックは「どのように実行するか」に答えますが、このクラスターは「どのモデルか、なぜそのモデルなのか」に答えます。

AIモデル比較: 異なるアーキテクチャを並列に

ここにあるページでは、モデルを成果物として分析しています。ファミリーが世代ごとにどのように進化するか、モデルのアーキテクチャがモデルの機能に何を変えるか、そして量子化と機能のトレードオフがどこに位置するか、といった点です。すべての主張はベンダーのモデルカード、独立したベンチマーク、または測定された実行に依拠しています。予測値は予測と明記されています。


AIモデルがスタック内で占める位置

当サイトは、モデルに関する問題を3層に分割しています。

レイヤー 対象 クラスター
モデル 機能、アーキテクチャ、ファミリーの進化、量子化 ここです
サービング ランタイム、GPUとの適合性、スループット、コンテキストの挙動 LLMホスティング · LLMパフォーマンス
システム ルーティング、メモリ、エージェント、検証 AIシステム · LLMアーキテクチャ

ここでなされた機能に関する主張(27Bデンスモデルが4ビットで何を持ち得るか、1回のフォワードパスで判定子が何を出すか)は、他でなされるホスティングやパフォーマンスの決定への入力となります。クラスターは意図的に分離されており、ベンチマークテーブルがアーキテクチャのエッセイに移り、戻ってくることを防いでいます。


クラスターマップ

このクラスターは若く、スケジュールではなく密度で成長します。現在存在するもの:

  1. ここです — この柱:クラスターがカバーする範囲とその境界
  2. アーキテクチャ — LLMの次に来るもの? Mamba、拡散モデル & ワールドモデル — トランスフォーマー後の状況:状態空間モデル、拡散言語モデル、JEPAワールドモデル、それぞれの根拠
  3. ファミリー — Qwen 4: 確定した情報とローカルAIへの意味 — 世代間の27Bベンチマークラダー、Flash-Nextアーキテクチャプレビュー、コンシューマーGPUとの適合性を中心としたファミリー参考ページ

将来のサブクラスター(関連するページが十分存在した時点でシード):ベンチマーク(モデル間比較)、量子化(ビットラダー参照)、埋め込みとリランカー(検索サイドモデル)、比較(ファミリー対ファミリー)。


モデルアーキテクチャ

アーキテクチャ分析は、設計変更が機能、メモリ、推論の挙動に何をするか問いかけます。今週リーダーボードのトップはどのモデルか、ではなくです。アンカーページでは、トランスフォーマーを成功させたり補完したりする候補を取り上げています:

  • 状態空間モデル(Mamba) — 圧縮された再帰状態を通じてシーケンス長に対して線形スケーリング
  • 拡散言語モデル — 左から右へのデコーディングではなく、並列トークン生成
  • ワールドモデルとJEPA — トークンではなく、表現に対する予測

ハイブリッドパターン — コストに見合う場所でトランスフォーマーアテンションを使い、そうでない場所で線形アテンションを使う — は既にリリースされているモデルに存在しており、LLMの次に来るもの? は研究の系譜と本番環境の証拠の両方を追跡しています。


モデルファミリー

ファミリーページでは、1つのモデルラインの世代間を追跡します:各リリースで何が変わったか、どのベンチマークの向上が実在でありベンダー報告に過ぎないか、そして次の世代が所有するハードウェアに何を意味するか。

最初のページは、コンシューマーGPU上で最も実行されているオープンウェイトファミリーをカバーしています:

  • Qwen 4: 確定した情報とローカルAIへの意味 — Alibabaの確定したロードマップ、Qwen3.5 → 3.6 → 3.8の27Bベンチマークラダー、実行可能なアーキテクチャプレビューとしてのFlash-Next、そしてQwen 4 27Bが到達するメモリ目標。

ここに属さないもの

境界ルールはこのクラスターの誠実さを保ちます:

  • サービングとチューニングの問題 — モデルがどれだけ速く実行されるか、コンテキストをどのように収めるか、どのランタイムを使うか — はLLMパフォーマンスとLLMホスティングに属します。ファミリーページは、tok/sテーブルを再掲するのではなく、それらの測定へのリンクを行います。
  • システム内でのモデル利用 — ルーティング階層、メモリ、エージェント設計 — はAIシステムとLLMアーキテクチャに属します。
  • 検索サイドモデル — 埋め込みとリランカーはここではモデルとして分析されますが、パイプライン内での適用はRAGに属します。

このクラスターが他のクラスターと接続する方法

購読する

システム、インフラ、AIエンジニアリングの新記事をお届けします。