Strata で Qwen3.8-Flash-Next をローカル実行:64 GB クイックスタート

125B MoEを1枚のコンシューマーGPUで動かす — 3bitが破綻する地点

目次

Qwen3.8-Flash-Next(QFN)は総パラメータ125B、トークンあたりアクティブパラメータ6B、ネイティブ256Kコンテキストウィンドウを備えています。デフォルトで思考機能が有効になっており、ローカルモデルのクラスにおいて、エージェントコーディングに関する最高ベンチマークスコアを記録しています。

本記事では、64 GB RAMのデスクトップPCとRTX 5090を使用して、Strata上でQFNの3-bit量子化モデルを実行する方法を説明します。また、エージェントワークロードにおいて、Q4未満の量子化が信頼性の高いツールコールを生成できない理由も記録しています。

125B MoEにおける3つのメモリ階層: GPU, 固定RAM, およびSSD

以下のセクションでは、インストールコマンド、各量子化が固定するRAM容量、および64 GBデスクトップでのツールコールの失敗について示します。速度と失敗に関する数値は、RTX 5090、64 GB RAM、Ubuntu 26.04を備えたそのマシンでの実行結果と、Strataトラッカーおよび0.2.11リリースノートからの報告を混合しています。

コマンドとエンジンのデフォルト設定は、2026年6月11日時点でStrata 0.2.11に対して確認されました。その時点でリポジトリには40,836個のスターがあり、エンジンパッケージのバージョンは0.1.57でした。このランタイムがOllama、llama.cpp、vLLMに対してどのような位置づけにあるかは、LLMホスティングガイドがその役割を担っています。

Strataとは何か

このクイックスタートで使用されているエンジンは、Niko1221/Strataで、MITライセンスが適用されています。OSDI 2026で発表されたSGLangにおける階層型KVキャッシュに関する論文プロジェクトも同様の名前を使用していますが、それとは別のプロジェクトです。Strataはllama.cppとggmlの上に構築されており、リポジトリにはdocs/paper/Strata-Paper.pdfとして論文の概要が含まれています。Qwen3.8-Flash-Nextを1つのコンシューマーGPU、システムRAM、SSDにまたがって実行します。同じエンジンはQwen3.6-35BやDeepSeek V4.1-Flashにも対応しています。

Qwen 3.8 Flash Nextは48層にわたって24,576個のルーティングエキスパートを持ち、各トークンでは10個のエキスパートがアクティブになります(合計アクティブパラメータ6B)。 Strataはモデルを1箇所に収めることを要求せず、3つのメモリ階層に分割します。

階層 保持内容 動作
GPU (VRAM) アテンション、DeltaNetミキサー、ゲート付き残差重み、ルーター、共有エキスパート、出力ヘッド、MTPドラフト層、KVキャッシュ(64K以降:最も読み取られる部分。残りはRAMからストリーミング)、およびエキスパートキャッシュ トークンごとに実行されるすべて。エキスパートキャッシュはVRAMの残り空間に最も使用頻度の高いエキスパートを充填し、会話の実行中に適応します
RAM すべての24,576個のエキスパート、固定(pinned) CPUはGPUにないエキスパートをその場で計算し、GPUがキャッシュされたエキスパートで動作しているのと同時に処理します(AVX-512/AVX2カーネル、i-quantsにはggmlを使用)
SSD 28.8 GBのn-gram埋め込みテーブル OSページキャッシュを通じて、トークンごとに数行を読み取ります

51Bのn-gramパラメータブロックは、bigramとtrigramをインデックスとする2,000万エントリのルックアップテーブルとして機能します。これは行列積ではなくルックアップであるため、ランタイムコストを最小限に抑えてSSDに配置できます。

VRAMの容量がスケーリング軸を決定します。VRAMが1 GB増えるごとに約700個のエキスパートを保持でき、GPUにキャッシュされるエキスパートが増えるほどCPUの計算量は減少します。より多くのVRAMを持つ低速カードは、より少ないVRAMを持つ高速カードよりも優れたパフォーマンスを発揮します。

RAMの容量は硬い制約となります。CPUとGPUの同時計算のため、すべてのエキスパートを固定する必要があるためです。Strataはディスクへの遅延メモリマッピングをサポートしていません。QFNのダウンロードサイズとRAM使用量はほぼ同一です。

デコード速度の構成

デコードレートを供給する3つのメカニズムがあります。

  1. マルチトークン予測。 チェックポイントは、マルチステップドラフト用に訓練されたMTP層を1つ含んでいます。Strataは最大3トークンのドラフトを生成し、48層すべてでの1回のパスでそれらを検証します — 投機的デコーディングガイドにあるドラフト-検証サイクルです。プロジェクトはパスあたりの平均受入数が2.4〜3.2トークンであることを測定しており、同じ出力に対して1.6〜1.8倍のデコード速度として報告しています。

  2. プロンプトラックアップ。 モデルが文脈を繰り返している場合(コード編集や引用など)、サーバーは文脈の以前のコピーから最大5つのドラフトトークンを取り出します。プロジェクトはコード編集が6〜11%高速化され、他のテキストは変わらないと報告しています。

  3. チャンク化プリフィル。 プロンプトは最大8,192トークンのブロックで到着し、現在の層のアテンションが実行されている間、次の層のエキスパートがPCIeを介して移動します。プロジェクトは長文書やコードベースのインジェストが1,000トークン/秒を超えるとし、会話状態が常駐しているため、フォローアップが数秒以内に始まると述べています。

サーバーはローカルチャットUI(デスクトップアプリまたはターミナル内で)を付属し、localhost上でOpenAI互換およびAnthropic互換のエンドポイントを公開します。Claude Code、Codex CLI、OpenCode、Hermes Agent、OpenClawは strata connect 経由で接続します。プロジェクトがリストしているハードウェア: NVIDIA RTX 20/30/40/50 シリーズ(CUDA 13エンジンパッケージにはドライバー580以降が必要)、HIP上のAMD Radeon、Linux上のIntel Arc、Apple Silicon、AMD Strix Halo。リリース0.2.11のデスクトップアプリは Strata-0.2.11-linux-x86_64.AppImage です。以下のターミナルのパスは、このクイックスタートが通るものです。

ローカル代替案とのQFNベンチマーク

Alibabaのモデルカードでは、Flash-NextをQwen3.8-27B、DeepSeek-V4-Flash(0731チェックポイント)、Claude Opus 4.6 (Max)と比較しています。

QFN Qwen3.8-27B DeepSeek-V4-Flash Claude Opus 4.6 (Max)
総/アクティブパラメータ 125B / 6B 27B / 27B 284B / 13B –
N-gram埋め込みパラメータ 51B – – –
DeepSWE 1.1 (エージェントコーディング) 58.7 42.2 54.4 –
SWE-bench Pro 62.5 61.7 56.0 53.4
SWE-bench Multilingual 81.0 73.8 – 77.5
Toolathlon Verified (ツール使用) 73.5 67.1 70.3 –
JobBench (エージェントオフィス) 55.7 33.4 41.3 36.6
CoWorkBench 73.9 70.7 45.1 68.2
GPQA Diamond 91.7 89.2 90.8 91.3
LiveCodeBench v6 91.9 90.3 90.6 88.8

そのカードにおけるエージェントコーディングの行は、温度1.0、top_p 0.95、256Kウィンドウを使用しました。DeepSWEはClaude Codeとmini-SWE-agentのハーネスのいずれか高い方を報告しており、カードではFlash-Nextのより高いスコアはmini-SWE-agentで出たと述べています。SWE-bench Proは修正されたタスクセットでベースラインを再実行し、Claude Opus 4.6のセルはベンダーが公開したスコアであり、他のセルはClaude Codeによるものです。

同じカードには逆の結果を示す2つの行があります。NL2Repo-BenchはFlash-Nextが48.1、DeepSeek-V4-Flashが54.2です。GPT-4oが判定するHLEでは、Claude Opus 4.6 (Max)が40.0に対し35.9です。

エージェントワークでは、カードのデフォルトは preserve_thinking をオンにし、推論トレースがターン間で維持されるように設定しています。また、reasoning_effort は xhigh に設定されています。他のレベルは medium と low です。Qwen 4ファミリーページは、Alibabaがこのラインについて確認した内容、これらのウェイトに適用されるQwen Community License 1.0を含む、追跡しています。上記の表は、今日測定可能な部分です。

量子化ビルドとサイズ

ISTA-DASLab GSQ-RCO

ISTA-DASLab GSQ-RCO GGUFs は非一様量子化を使用しています。GSQはテンソルごとの低位スカラ量子化であり、RCOはサイズ予算内でテンソルごとに型を割り当てます。この手法は、検索可能な重みの95%を占めるルーティングエキスパートに圧縮のほとんどを費やします。各ビルドは2つのシャードです。2つ目は約1ウェイトあたり4.5 bitのn-gramテーブルであり、ディスクからマッピングできます。

ビルド 平均bpw レジデントシャード N-gramシャード 合計 備考
Q2_0 2.40 37.6 GB 28.8 GB 66.4 GB 速度ビルド: ルックアップテーブル形式を回避; プロンプト367 t/s、デコード93.8 t/s、平均レイテンシ6.7 s(ほぼ同じサイズのIQ2_XSは12.7 s)
IQ2_XS 2.50 39.2 GB 28.8 GB 68.0 GB 同じ品質で最小
IQ3_XXS 3.00 47.0 GB 28.8 GB 75.8 GB メモリが限られている場合の選択; AIME25でベースモデルと一致し、GPQA-Diamondで約1.5ポイント劣後
IQ3_S 3.50 54.8 GB 28.8 GB 83.6 GB ISTAの推奨: ハーネス内のすべてのタスクでベースモデルと同等またはそれ以上(GPQA-Diamond 92.93 vs 91.92)

これらのGPQAの数値はISTAのハーネスによるものであり、Alibabaのカードの91.7ではありません。Coder版では、層ごとに512個のルーティングエキスパートのうち256個を保持し、58.4 GB、実効ウェイトあたり1.89 bitになります。マルチモーダルアドオンとしてのBF16ビジョンプロジェクターは0.91 GBです。ISTAラインはIQ3_Sまでで、Q4ビルドはありません。

Strata 0.2.11でのUnslothパック

2026年4月11日、UnslothはQwen3.8-Flash-Next GGUFsをDynamic v3.1として再アップロードしました。0.2.11リリースノートによると、Strataはアプリから、strata launch --family unsloth から、またはすでに保有するフォルダから、そのうち7つをダウンロード、準備、実行できます。各ファイルはサイズとSHA-256によってUnslothリビジョン d9620119 に対してチェックされます。すべてのセットの最後のファイルは28.8 GBのパートークンテーブルです。テーブルを共有するセットはファイルを共有します: UD-IQ1_MはUD-IQ2_XSと、UD-IQ3_XXSはUD-IQ4_XS-v31とです。

Strata上の名前 ダウンロード ファイル数
UD-IQ1_M 68.0 GB 3
UD-Q2_0 70.6 GB 3
UD-IQ2_XS 75.8 GB 3
UD-Q2_K_XL 79.6 GB 4
UD-IQ3_XXS 83.6 GB 4
UD-Q3_K_XL 89.5 GB 4
UD-IQ4_XS-v31 93.7 GB 4

UD-IQ4_XS-v31は、Strataがすでに提供していたUD-IQ4_XSとは異なるファイルです: 他のテンソル型を使用し、3つの代わりに4つのファイルになっています。UD-Q4_K_XL、UD-Q5_K_XL、UD-Q6_K_XL、Q8_0は2026年9月30日のファイルのままです。2026年4月11日のUD-Q4_K_XLは4ファイル分割の同じウェイトであり、それがあればStrataはその分割を受け入れます。UD-IQ1_Sは読み込めません(1層が2つのエキスパート形式を混在させているため)、したがって1ビットの選択はUD-IQ1_Mです。

UD-IQ4_XS-v31は33層でQ5_0エキスパート形式を使用しています。同じノートによると、StrataのQ5_0計算は厳密な結果から1.2–1.3%しかずれておらず、これらのテンソルにおけるllama.cppの式は2.6–3.0%です。Macでは、アプリは初回起動前にエキスパートを1つのGPUファイルに書き換えるため、ディスクの予算はダウンロード量とそれらのファイルと数ギガバイト(UD-IQ1_Mでは約115 GB)となります。

28.8 GBのテーブルがマッピングされたままの場合、UD-IQ4_XS-v31の残りはKVキャッシュを含まず約64.9 GBになり、Strataの固定ルール下ではすでに64 GBのマシンを超えています。UD-IQ1_Mの残りは約39.2 GBです。そのファイルはIQ3_Sが収まらない場所に収まり、それは1ビットのパックであり、以下の3ビットで測定されたツールコールの挙動からより遠い位置にあります。

クイックスタート: インストール、起動、初回実行設定

Linuxデスクトップには、プロジェクトがリストしているRTX 20/30/40/50 シリーズのカードまたは他のGPU、選択したパックに加えてKVキャッシュの余裕を持つ十分なRAM、ダウンロードのためのSSD容量が必要です。CUDA 13エンジンパッケージにはドライバー580以降が必要です。

ターミナルでのインストール:

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch

strata launch はモデル、量子化、コンテキスト、保存フォルダ、アクセス設定を尋ね、カード用のエンジンをダウンロードし、サーバーを起動し、速度、メモリ、リクエストデータのモニターを表示します。デフォルトのエンドポイントは http://127.0.0.1:8080 です。

76 GBのダウンロードの前に何が収まるかを確認するために、またはプロンプトなしで開始するために:

strata launch --family qwen --model q2_0 --plan      # ドライラン: 何が不足し、何が収まるか
strata launch --family qwen --model q2_0 --yes --no-tui   # バックグラウンドで開始
strata launch --status
strata connect    # Claude Code / OpenCode / Hermes / OpenClaw / ... の設定を表示
strata launch --stop

これらの --family qwen --model q2_0 フラグは、Ubuntu 26.04でのISTA Q2_0ビルドのドライランに使用されたものです。Unslothパックは --family unsloth と上記の表からの名前を使用します。strata connect はツールごとにプロバイダーブロックを表示します。両方のAPI形式は、OpenAI互換ベースURL(http://127.0.0.1:8080/v1)と、launchが表示するモデル名を使用します。カスタムのOpenAI互換エンドポイントを受け入れる任意のクライアント(Cursorを含む)は、そのペアを使用します。

既存のインストールを更新

インストールノートは、すでにマシン上で動作しているターミナルのための3つのコマンドを示しています。strata update --check は署名付きのリリースフィードを読み取り、変更される内容について報告します。strata update はこのマシン用とControlコンポーネント用のエンジンをダウンロードし、テスト起動の後でのみ切り替えます。strata --version はその後、バージョンを表示します。アプリ、Control、エンジンは個別のバージョン番号を持つため、3つは異なる場合があります。

strata update --check
strata update
strata --version

モデルがロードされている状態で、strata update はそれの名前を特定し、停止する前に尋ねます。新しいエンジンはそのモデルがサービングを継続している間にダウンロードされ、切り替え後、Strataは同じ設定をもう一度開始するか尋ねます。更新が失敗した場合、古いエンジンが使用され続け、モデルファイルと保存された設定は残ります。strata components rollback は前のエンジンに戻ります。

初回実行時に確認すべき2つの設定

  1. サンプリング。 0.2.11では、sampling ブロックのないパック設定はモデルカードに従います。思考リクエストは温度1.0、top_p 0.95、top_k 20になります。非思考リクエストは0.7、0.8、20になり、presence_penalty 1.5が適用されます。優先順位はリクエスト、次にWeb UIのチャット設定、次に設定ブロック、最後にカードです。温度0は、リクエストまたはブロックがそれを設定した場合のみ適用され、それらのグリーディー実行はこのチェックポイントで反復ループに陥ったものです。古いパック設定にまだ "sampling": {"temperature": 0} が含まれている場合は、カードの思考プリセットに置き換えてください。

  2. tool_call_recovery。 このキーはモデル実行設定(strata-*.json)にあります。0.2.8以降はデフォルトでオン、0.2.7以前はオフでした。Strataのエンジンノートは、1,462のエージェントターンを引用し、スイッチオンでは98.3%のコールが意図通りに読み取られ、オフでは92.9%であると報告しています。リクエスト内に名前があるコールの4つの形状を受け入れます: <parameter=NAME> タグ、<tool_call> 内のJSON、<tool_call> ラッパーなしの <function=NAME> ブロック、および1つの <tool_call> 内の2番目のコール。宣言されていない名前または壊れたJSONはテキストのままです。0.2.7以前では、"tool_call_recovery": true を設定してください。エージェントワークでは0.2.11のデフォルトをオンにしてください。

サーバーをlocalhostに保つ

サーバーはデフォルトでlocalhostにバインドし、アクセス設定は strata launch の一部です。エンドポイントはそのマシン上のモデルと会話を公開し、オープンネットワーク向けには構築されていません。別のマシンが必要とする場合、ポートの前に認証付きリバースプロキシを配置してください。

ss -ltnp | grep :8080    # リスナーが127.0.0.1であり、0.0.0.0ではないことを確認
curl -s http://127.0.0.1:8080/v1/models   # サーバーはlocalhostで応答する

VRAMが13 GB以下のカード

STRATA_ROUTE_PRIOR=1.5 は、ルーターにカードにすでにいるエキスパートを優先するように指示します。RTX 3060 12 GBでIQ3_XXSを実行するStrataのノートは、priorをオフに比較してストーリーデコードで+15%、コードデコードで+37%と報告し、通過したエージェントタスクは少なくなりました: priorオフの7実行で平均5.6に対し、4実行で平均4.5でした。バージョン0.2.7は、13 GiB以下のディスクリートNVIDIAカードに対して1.5を自動的にオンにしました。バージョン0.2.8は、反復と弱い長いエージェントセッションの後、2026年10月29日にそれをオフに戻しました(issue #4402)。変数が未設定の場合、0.2.11は0.2.6と同じようにルーティングします。プロジェクトはpriorを12 GBカードでのチャットと短い応答に向かせ、長いエージェント実行からは遠ざけています。

テストベッド: エージェントを実行する64 GBデスクトップ

測定されたボックス:

コンポーネント 仕様
CPU Intel Core Ultra 7 265 (20コア, DDR5-6400 デュアルチャネル ≈ 102 GB/s)
GPU RTX 5090, 32 GB
RAM 64 GB
OS Ubuntu 26.04
併動作動 Hermes VMのためのKVMホスト, Cursor IDE, ブラウザ

ISTA IQ3_XXSの場合、レジデントシャードは47 GBです。エキスパートが固定されているため、その他すべてに対して約9 GBが残り、ます。Hermes本番設定のエージェントスタックであるHermes VM、およびCursorを残すと約5 GBになり、長いエージェントセッションのページキャッシュやKVキャッシュには十分ではありません。

ISTA IQ3_Sは、日常使用のデスクトップとしてこのマシンには収まりません。54.8 GBのレジデントシャードとマッピングされた28.8 GBのn-gramテーブルが64 GBを使用します。Cursorが動作している状態で、3 GBが空き、Hermes VMはどこにも配置できません。

設定 レジデント 空きRAM (モデルのみ) 空きRAM (モデル + VM + Cursor) デコード (測定値) エージェント判定
IQ3_XXS (3.00 bpw) 47 GB ~9 GB ~5 GB – ツールコールが定期的に失敗; 日常運転には不適
IQ3_S (3.50 bpw) 54.8 GB + 28.8 GB mmap ~3 GB (Cursorのみ) – 100–130 tok/s まったく余裕なし; 使用不可能

IQ3_Sは100–130トークン/秒でデコードし、これはQwen 3.6 MTP比較における16 GB GPU上のMTP 3を備えたllama.cppの27Bビルドと同じ速度クラスです。RAM予算に収まるパック(IQ3_XXS)は、ツールコールの形式を見逃すものです。ISTAが推奨するパック(IQ3_S)は、デスクトップの残りにスペースを残しません。

IQ3_XXSでは、モデルは不正なツールコール引数を出力し、スキーマにないツール名を発明し、短い思考ブロックの後、同じコマンドを3回から5回再発行しました。ハーネスは各ミス再試行として扱うため、セッションは同じエラーで満たされます。このハードウェアでは、IQ3_XXSはエージェントモデルではありません。

コミュニティからの報告

Strata上のQwen3.8-Flash-Nextの速度報告、issueスレッドと0.2.11ノートから:

セットアップ 結果
2× RTX 4090 6,553 プロンプト t/s, 271 デコード t/s 単一ストリーム
RTX 5080 + 4060 Ti, 32 GB RAM 200+ tok/s デコードピーク
12 GB VRAM + 32 GB RAM, エクスパートをCPUにオフロード ~65 tok/s; 1つのコメントは199Kコンテキスト、q8 KVでの65 tok/s: 1,740 プロンプト t/s, ~21.5 デコード t/s
RTX 5070 12 GB + 64 GB RAM, IQ3_S 85–100 tok/s デコード
Pro 6000 + 2× 3090, 256 GB RAM, Unsloth 6-bit, 160K コンテキスト Decode 70–80 → llama-serverからStrataに切り替えた後150 tok/s
RTX 2060 レaptop, 32 GB RAM + 6 GB VRAM Q2_0が動作
RTX 3060 12 GB, UD-IQ1_M, 短いプロンプト (0.2.11ノート) 31–37 デコード tok/s, カードにエキスパートの18%

3つの失敗モードが、低ビットQwen3.8-Flash-Nextのエージェントワークロードについて書かれています。

  1. スキーマのサイズに追従する壊れたツールコール出力。 Issue #1431 は、39個の関数スキーマ(約12Kトークン)と6Kシステムプロンプトで、Strata 0.1.40上のIQ3_XXSが20回以上の制御リプレイの約30–50%で使用可能なターンを生成したと報告しています。モデルは、パーサーがマッピングできなかったツールコールの形状を発行したか(テキストは finish_reason: stop 付きの content に着地)、または思考ブロックを閉じてコールや応答なしでシーケンス終了を発行しました。同じウェイトはllama.cppでは、8回以上の連続実行すべてでツールコールを解析しました。llama.cppはPEG文法で出力を制約し、壊れたコンテンツを tool_calls に引き戻します。テキストを後で修復するラッパーは、トークンがすでに選択された後に修復が実行されるため、有用ターン率をその30–50%帯域を超えさせることはできませんでした。

  2. 設定エラーと非決定論的エキスパートパス。 Issue #2685 は、RTX 5070、IQ3_S、60 GB RAMで、Strataを通じてツールコールが失敗したと報告しています: 不正な引数、幻覚ツール、および再試行ループ、サンプリングブロックと tool_call_recovery がオンになった後でもです。同じ量子化を llama serve 通じ、同じハーネスの5回の実行すべてで成功しました。報告者は、同一のシードがプリフィル中のMMQエキスパートパスで分岐し、そのパスを無効化すると実行がビット同一になることを発見しました。Strata 0.1.44は決定論修正を提供しました。後の報告は、同じ量子化でStrataがllama.cppに匹敵していないことを示唆しています。

  3. 思考ブロック内に残されたツールコール。 Issue #804 は、未閉鎖の think ブロック内の完全なツールコールが reasoning_content として返され、content が空で tool_calls がなく、エージェントループが停止すると報告しています。1人のユーザーは、HermesでIQ3_XXS、IQ2_XS、Coderビルドを使用し、約1,300件の実際のエージェント応答において、約100分の一の応答が発生したと数えました。

なぜSub-Q4がエージェントツールコールを壊すのか

ツールコールはワイヤーフォーマットに一致する必要があります。3ビットでは、この125Bモデルは一部のターンでそのフォーマットを見逃し、ミスはツールスキーマコンテキストが増えるにつれ増加します。より大きなスキーマは、コールをフォーマットするワーキングメモリにより多くを要求し、量子化ノイズはそのフォーマットに着地します。チャットターンはそれを隠します。ほとんどがツールコールであるエージェントターンは、そうではありません。

同じ圧縮は、アクティブなパラメータが少ない場合にさらに害を及ぼします。OpenCode向けローカルLLM比較は、構造化エージェントタスクでIQ3_XXSの密集27Bを測定し、約5%のエラー率を見つけました。類似のビット幅の低アクティブMoEチェックポイントはより厳しく失敗しました: 35B-A3BはIQ3_Sで64.2%、IQ4_XSで98.8%のエラー、122B-A10BはIQ3_Sで80%、IQ3_XXSで90%のエラーでした。Qwen3.8-Flash-Nextはトークンあたり6Bのパラメータをアクティブにするため、3ビットパックは重い量子化の小さなモデルのように動作します。これらのOpenCode実行は、35B-A3Bと122B-A10BでIQ3とIQ4が構造化タスクを見逃していることを示しますが、Flash-NextのQ5実行は含まれていません。StrataのUD-IQ4_XS-v31は0.2.11以降ダウンロード可能ですが、ここでチェックしたソースにはエージェントタスクの比較がなく、64 GBのボックスには収まりません。

同じGSQ-RCOウェイトは、llama.cppとOllamaでロードされた場合も失敗します。llama.cppは依然として文法で出力を制約し、壊れたスパンを tool_calls に引き戻すことができるため、クライアントは壊れた文字列の代わりにコールを見ます。エンジンノートのStrataのJSONモードは、スキーマプロンプティングと生成後のチェックであり、文法制約デコーディングではありません: 悪いオブジェクトは structured_output_failed 付きのHTTP 502を返します。tool_call_recovery と後のリリースは、上記の4つの形状を修復します。モデルがサンプリングする分布は変更しないため、issue #1431のラッパーは出力率を超えて上昇できませんでした。

StrataはCPUとGPUの同期を維持するためにRAMを費やします。64 GBでは、デスクトップとエージェントVMに余裕を残す最大のISTAパックはIQ3_XXSですが、そのパックはここで測定された出力閾値を下回っています。IQ3_SはすでにMTP 3を備えた27Bモデルと同じ帯域でデコードするため、そのパックの制限はRAMです。遅延マップを備えたllama.cpp実行は、より少ないRAMをコミットし、このモデルにおいてStrataを両者の中でより速くするデコードレートを犠牲にします。

判定

Qwen 2.8 Flash Nextは、エージェントベンチマークでQwen3.8-27Bを上回ります: DeepSWE 58.7 vs 42.2、JobBench 55.7 vs 33.4、Toolathlon 73.5 vs 67.1。マルチステップワークは明らかににより有能です。トークンあたりの計算は125Bモデルよりも小さなモデルに近いです。

Q4未満の量子化は、エージェントワークのための信頼性の高いツールコール出力を提供しません。Strataとllama.cppの両方で再試行ループを生み出す失敗率です。Q4のパフォーマンスは、エージェントベンチマークでの制御された比較を通じてまだ証明されていません。Q5クラスの量子化は、信頼できるエージェントワークのための実証された下限です; Unsloth UD-Q5_K_XLは存在しますが、公開されたベンチマークがありません。同じSub-Q4構造化出力ルールは、 censuraフリーLLMの選択方法 でabliterated Qwenビルドの候補を絞る際に適用されます。

M5 Maxと128 GBのユニファイドメモリを備えたMac Studioは、エージェントスタックに十分な余裕を持つ105 GBのMLXビルドまたはQ4パックを保持できます。QFNアーキテクチャはこのオフローディングモデルのために設計されました。

私は現在のセットアップでNVFP4 27Bモデルを使い続ける予定です — RTX 5090で17 GB、MTP 3 — 信頼できるツールコールとRAM競争なしで100+ トークン/秒を達成しています。Q4クラス量子化がエージェントタスクでベンチマークされ、Strataの出力回復が成熟し、またはハードウェアがアップグレードされたとき、QFNに戻る予定です。

参考文献

有用なリンク

購読する

システム、インフラ、AIエンジニアリングの新記事をお届けします。