Qwen3.8-Flash-Next lokal mit Strata ausführen: Schnellstart für 64 GB
125B-MoE auf einer Consumer-GPU – und an der Stelle, an der 3-Bit versagt
Qwen3.8-Flash-Next (QFN) verfügt über 125 Mrd. Gesamtparameter, 6 Mrd. aktive Parameter pro Token und ein natives Kontextfenster von 256K. Das Denken ist standardmäßig aktiviert, und das Modell erzielt die höchsten agentic-coding-Benchmarks in seiner Klasse lokaler Modelle.
Dieser Artikel beschreibt die Ausführung einer 3-Bit-Quantisierung von QFN auf einem Desktop-PC mit 64 GB RAM und einer RTX 5090 unter Verwendung von Strata und dokumentiert, warum Sub-Q4-Quantisierungen für agentische Arbeitslasten keine zuverlässigen Tool-Aufrufe erzeugen.

Die Installationsbefehle, der RAM, den jede Quantisierung belegt, und die Fehler bei Tool-Aufrufen auf einem 64-GB-Desktop-PC finden Sie unten. Die Angaben zu Geschwindigkeit und Fehlern mischen Läufe auf dieser Maschine – einer RTX 5090 mit 64 GB RAM unter Ubuntu 26.04 – mit Berichten im Strata-Tracker und den Release-Notizen von Version 0.2.11.
Die Befehle und Engine-Standardwerte wurden am 11.06.2026 anhand von Strata 0.2.11 überprüft, als das Repository 40.836 Stars zeigte und die Engine-Pakete Version 0.1.57 hatten. Wo sich diese Laufzeit im Vergleich zu Ollama, llama.cpp und vLLM positioniert, erläutert der LLM-Hosting-Guide.
Was ist Strata
Die Engine in diesem Schnellstart ist Niko1221/Strata, lizenziert unter MIT. Ein anderes Projekt, der OSDI-2026-Aufsatz zu hierarchischem KV-Caching für SGLang, nutzt denselben Namen. Strata baut auf llama.cpp und ggml auf, und das Repository enthält einen Aufsatz unter docs/paper/Strata-Paper.pdf. Es führt Qwen3.8-Flash-Next über eine einzelne Consumer-GPU, den System-RAM und eine SSD aus. Dieselbe Engine bietet auch Qwen3.6-35B und DeepSeek V4.1-Flash an.
Qwen 3.8 Flash Next verfügt über 24.576 geroutete Experten in 48 Schichten; pro Token werden 10 Experten aktiviert (insgesamt 6 Mrd. aktive Parameter). Strata verteilt das Modell auf drei Speichertypen, anstatt zu verlangen, dass es vollständig in einem Speicherplatz passt.
| Speicherplatz | Beinhaltet | Funktion |
|---|---|---|
| GPU (VRAM) | Aufmerksamkeitsmechanismen, DeltaNet-Mixer, gewichtete Restwerte, Router, geteilte Experten, Ausgabe-Kopf, die MTP-Entwurfsschicht, der KV-Cache (ab 64K: der am häufigsten gelesene Teil; der Rest wird per Streaming aus dem RAM geladen), sowie ein Experten-Cache | Alles, was pro Token ausgeführt wird; der Experten-Cache füllt den verbleibenden VRAM mit den am häufigsten verwendeten Experten und passt sich während der Ausführung dem Gespräch an |
| RAM | Alle 24.576 Experten, gepinnt | Die CPU berechnet die Experten, die die GPU nicht besitzt, direkt vor Ort, während die GPU mit den gecachten Experten arbeitet (AVX-512/AVX2-Kerne, ggml für die i-Quantisierungen) |
| SSD | Die N-Gramm-Einbettungstabelle mit 28,8 GB | Liest pro Token einige Zeilen über den OS-Page-Cache |
Der 51-Mrd.-Parameter-N-Gramm-Block dient als eine Suchtabelle mit 20 Mio. Einträgen, indexiert nach Bigrammen und Trigrammen. Da es sich hierbei um eine Nachschlagefunktion und nicht um eine Matrixmultiplikation handelt, kann sie auf einer SSD platziert werden, mit minimalem Laufzeit-Aufwand.
Die VRAM-Kapazität bestimmt die Skalierungsebene. Jeder zusätzliche Gigabyte VRAM speichert etwa 700 Experten, und jeder auf der GPU gecachte Experte reduziert die CPU-Berechnung. Eine langsamere Karte mit mehr VRAM schlägt eine schnellere Karte mit weniger.
Die RAM-Kapazität ist eine harte Grenze, da alle Experten für die gleichzeitige CPU- und GPU-Berechnung gepinnt sein müssen. Strata unterstützt keine träge Speicherzuordnung (Lazy Memory Mapping) auf die Festplatte. Die Download- und RAM-Nutzung sind für QFN nahezu identisch.
Wie die Dekodiergeschwindigkeit aufgebaut ist
Drei Mechanismen liefern die Dekodiergeschwindigkeit.
-
Mehrfach-Token-Vorhersage. Der Checkpoint enthält eine MTP-Schicht, die für Mehrschrittentwürfe trainiert wurde. Strata erstellt Entwürfe für bis zu 3 Token und verifiziert sie in einem einzigen Durchlauf über alle 48 Schichten – der Entwurf-Verifizierung-Zyklus in der Guide zu spekulativer Dekodierung. Das Projekt misst die durchschnittliche Annahme bei 2,4–3,2 Token pro Durchlauf und berichtet dies als 1,6- bis 1,8-fache Dekodiergeschwindigkeit bei gleichem Ausgang.
-
Prompt-Nachschlagen. Der Server holt bis zu 5 Entwurf-Token aus früheren Kopien des Kontexts, wenn das Modell den Kontext wiederholt, wie bei einer Codeänderung oder einem Zitat. Das Projekt berichtet über 6–11 % schnellere Codeänderungen, andere Texte bleiben unverändert.
-
Gestückelter Prefill. Prompts treffen in Blöcken von bis zu 8.192 Token ein, und die Experten der nächsten Schicht werden über PCIe übertragen, während die Aufmerksamkeit der aktuellen Schicht läuft. Das Projekt nennt die Aufnahme langer Dokumente und Codebasen mit über 1.000 Token/s, und eine Anschlussanfrage startet innerhalb weniger Sekunden, da der Gesprächszustand im Speicher bleibt.
Der Server liefert eine lokale Chat-UI als Desktop-App oder im Terminal, sowie OpenAI- und Anthropic-kompatible Endpunkte auf dem Localhost. Claude Code, Codex CLI, OpenCode, Hermes Agent und OpenClaw hängen sich über strata connect an. Vom Projekt aufgelistete Hardware: NVIDIA RTX 20/30/40/50-Serie (CUDA-13-Engine-Pakete benötigen Treiber 580 oder neuer), AMD Radeon unter HIP, Intel Arc unter Linux, Apple Silicon und AMD Strix Halo. Release 0.2.11 ist Strata-0.2.11-linux-x86_64.AppImage für die Desktop-App; der Terminal-Pfad unten ist derjenige, den dieser Schnellstart durchläuft.
QFN-Benchmarks im Vergleich zu lokalen Alternativen
Die Modellkarte von Alibaba vergleicht Flash-Next mit Qwen3.8-27B, DeepSeek-V4-Flash (0731-Checkpoint) und Claude Opus 4.6 (Max).
| QFN | Qwen3.8-27B | DeepSeek-V4-Flash | Claude Opus 4.6 (Max) | |
|---|---|---|---|---|
| Gesamt-/aktive Parameter | 125 Mrd. / 6 Mrd. | 27 Mrd. / 27 Mrd. | 284 Mrd. / 13 Mrd. | – |
| N-Gramm-Einbettungsparameter | 51 Mrd. | – | – | – |
| DeepSWE 1.1 (agentisches Coding) | 58,7 | 42,2 | 54,4 | – |
| SWE-bench Pro | 62,5 | 61,7 | 56,0 | 53,4 |
| SWE-bench Mehrsprachig | 81,0 | 73,8 | – | 77,5 |
| Toolathlon Verifiziert (Tool-Nutzung) | 73,5 | 67,1 | 70,3 | – |
| JobBench (agentisches Büro) | 55,7 | 33,4 | 41,3 | 36,6 |
| CoWorkBench | 73,9 | 70,7 | 45,1 | 68,2 |
| GPQA Diamant | 91,7 | 89,2 | 90,8 | 91,3 |
| LiveCodeBench v6 | 91,9 | 90,3 | 90,6 | 88,8 |
Für die Zeilen zu agentischem Coding auf dieser Karte wurden Temperatur 1,0, top_p 0,95 und ein 256K-Fenster verwendet. DeepSWE berichtet den höheren Wert der Claude-Code- und mini-SWE-Agent-Harnesses, und die Karte besagt, dass der höhere Score von Flash-Next auf mini-SWE-Agent liegt. SWE-bench Pro führte die Baselines auf einem korrigierten Aufgabenstapel neu aus; die Zelle für Claude Opus 4.6 ist der vom Anbieter veröffentlichte Score, die anderen Zellen sind Claude Code.
Zwei Zeilen auf derselben Karte verlaufen in die andere Richtung. NL2Repo-Bench liegt bei 48,1 für Flash-Next und 54,2 für DeepSeek-V4-Flash. HLE, bewertet von GPT-4o, liegt bei 35,9 im Vergleich zu Claude Opus 4.6 (Max) mit 40,0.
Für Agenten-Arbeit sind die Standardeinstellungen der Karte preserve_thinking aktiviert, sodass die Denkkette über Runden hinweg erhalten bleibt, und reasoning_effort auf xhigh. Die anderen Ebenen sind medium und low. Die Qwen-4-Familien-Seite verfolgt, was Alibaba über diese Produktreihe bestätigt hat, einschließlich der Qwen Community License 1.0 für diese Gewichte. Die obige Tabelle ist der Teil, der heute messbar ist.
Quantisierungsaufbauten und Größen
ISTA-DASLab GSQ-RCO
Die ISTA-DASLab GSQ-RCO-GGUFs verwenden nicht-uniforme Quantisierung. GSQ ist Low-Bit-Scalar-Quantisierung pro Tensor, und RCO weist pro Tensor einen Typ innerhalb eines Größenbudgets zu. Die Methode gibt fast die gesamte Kompression für die gerouteten Experten aus, die 95 % der durchsuchbaren Gewichte ausmachen. Jeder Aufbau besteht aus zwei Shards. Das zweite ist die N-Gramm-Tabelle mit etwa 4,5 Bits pro Gewicht, und sie kann von der Festplatte gemappt werden.
| Aufbau | Ø bpw | Residentes Shard | N-Gramm-Shard | Gesamt | Anmerkungen |
|---|---|---|---|---|---|
| Q2_0 | 2,40 | 37,6 GB | 28,8 GB | 66,4 GB | Geschwindigkeitsaufbau: vermeidet Suchtabellen-Formate; 367 Prompt t/s, 93,8 Dekodier t/s, Ø Latenz 6,7 s (vs. 12,7 s bei IQ2_XS bei nahezu gleicher Größe) |
| IQ2_XS | 2,50 | 39,2 GB | 28,8 GB | 68,0 GB | Kleinste bei gleichbleibender Qualität |
| IQ3_XXS | 3,00 | 47,0 GB | 28,8 GB | 75,8 GB | Die Wahl für engen Speicherbedarf; entspricht dem Basismodell bei AIME25, gibt ca. 1,5 Punkte bei GPQA-Diamant ab |
| IQ3_S | 3,50 | 54,8 GB | 28,8 GB | 83,6 GB | Empfehlung von ISTA: entspricht oder übertrifft das Basismodell in jeder Aufgabe in ihrem Testaufbau (GPQA-Diamant 92,93 vs. 91,92) |
Diese GPQA-Werte stammen aus dem Testaufbau von ISTA, nicht aus der 91,7 auf der Alibaba-Karte. Eine Coder-Variante behält 256 der 512 gerouteten Experten pro Schicht bei, mit 58,4 GB und 1,89 effektiven Bits pro Gewicht. Ein 0,91-GB-BF16-Vision-Projektor ist der multimodale Zusatz. Die ISTA-Reihe endet bei IQ3_S; es gibt keinen Q4-Aufbau.
Unsloth-Pakete in Strata 0.2.11
Am 11.04.2026 lud Unsloth seine Qwen3.8-Flash-Next-GGUFs neu als Dynamic v3.1 hoch. Die 0.2.11-Release-Notizen besagen, dass Strata sieben davon aus der App, aus strata launch --family unsloth oder aus einem Ordner, den Sie bereits haben, herunterladen, vorbereiten und ausführen kann. Jede Datei wird anhand der Größe und SHA-256 gegen die Unsloth-Revision d9620119 überprüft. Die letzte Datei jedes Satzes ist die 28,8-GB-per-Token-Tabelle. Sätze, die eine Tabelle teilen, teilen auch die Datei: UD-IQ1_M mit UD-IQ2_XS, und UD-IQ3_XXS mit UD-IQ4_XS-v31.
| Name in Strata | Download | Dateien |
|---|---|---|
| UD-IQ1_M | 68,0 GB | 3 |
| UD-Q2_0 | 70,6 GB | 3 |
| UD-IQ2_XS | 75,8 GB | 3 |
| UD-Q2_K_XL | 79,6 GB | 4 |
| UD-IQ3_XXS | 83,6 GB | 4 |
| UD-Q3_K_XL | 89,5 GB | 4 |
| UD-IQ4_XS-v31 | 93,7 GB | 4 |
UD-IQ4_XS-v31 ist eine andere Datei als das UD-IQ4_XS, das Strata bereits angeboten hat: andere Tensor-Typen, vier Dateien statt drei. UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL und Q8_0 bleiben bei den Dateien vom 09.03.2026. Das UD-Q4_K_XL vom 11.04. hat dieselben Gewichte in einer Aufteilung in vier Dateien, und Strata akzeptiert diese Aufteilung, wenn Sie sie bereits haben. UD-IQ1_S lädt nicht – eine Schicht mischt zwei Expertenformate – daher ist UD-IQ1_M die 1-Bit-Wahl.
UD-IQ4_XS-v31 verwendet das Q5_0-Expertenformat in 33 Schichten. Dieselben Notizen besagen, dass die Q5_0-Mathematik von Strata 1,2–1,3 % vom exakten Ergebnis abweicht, im Vergleich zu 2,6–3,0 % für die Formel von llama.cpp bei diesen Tensoren. Auf einem Mac schreibt die App die Experten vor dem ersten Start in eine GPU-Datei um, sodass das Speicherbudget der Download plus diese Datei plus einige Gigabyte beträgt (ca. 115 GB für UD-IQ1_M).
Wenn die 28,8-GB-Tabelle gemappt bleibt, beträgt der Rest von UD-IQ4_XS-v31 vor dem KV-Cache etwa 64,9 GB, was bereits über einer 64-GB-Maschine unter der Pinning-Regel von Strata liegt. Der Rest von UD-IQ1_M beträgt etwa 39,2 GB. Diese Datei passt dort, wo IQ3_S nicht passt, und es ist ein 1-Bit-Paket, weiter entfernt vom Tool-Aufruf-Verhalten, das unten bei 3 Bits gemessen wurde.
Schnellstart: Installation, Start und Ersteinrichtungs-Konfiguration
Ein Linux-Desktop benötigt eine RTX-20/30/40/50-Serien-Karte oder eine andere GPU, die vom Projekt aufgelistet ist, genügend RAM für das gewählte Paket plus KV-Cache-Puffer und SSD-Speicherplatz für den Download. CUDA-13-Engine-Pakete benötigen Treiber 580 oder neuer.
Terminal-Installation:
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch
strata launch fragt nach dem Modell, der Quantisierung, dem Kontext, dem Speicherordner und den ZugriffsEinstellungen, lädt die Engine für die Karte herunter, startet den Server und zeigt einen Monitor mit Geschwindigkeit, Speicher und Anfragedaten. Der Standard-Endpunkt ist http://127.0.0.1:8080.
Um zu sehen, was vor einem 76-GB-Download passt, oder ohne die Eingabeaufforderungen zu starten:
strata launch --family qwen --model q2_0 --plan # Probelauf: Was fehlt, was passt
strata launch --family qwen --model q2_0 --yes --no-tui # Im Hintergrund starten
strata launch --status
strata connect # Zeigt die Konfiguration für Claude Code / OpenCode / Hermes / OpenClaw / ...
strata launch --stop
Diese --family qwen --model q2_0-Flags sind der Probelauf, der für den ISTA-Q2_0-Aufbau unter Ubuntu 26.04 verwendet wurde. Unsloth-Pakete verwenden --family unsloth und den Namen aus der obigen Tabelle. strata connect zeigt einen Anbieterblock pro Tool an. Beide API-Formate verwenden eine OpenAI-kompatible Basis-URL (http://127.0.0.1:8080/v1) und den Modellnamen, den der Start anzeigt. Jeder Client, der einen benutzerdefinierten OpenAI-kompatiblen Endpunkt akzeptiert, einschließlich Cursor, verwendet dieses Paar.
Bestehende Installation aktualisieren
Die Installationsanmerkungen geben drei Befehle für ein Terminal an, das bereits auf der Maschine ist. strata update --check liest den signierten Release-Feed und berichtet, was sich ändern würde. strata update lädt die Engine für diese Maschine und die Control-Komponente herunter und wechselt nur nach einem Teststart. strata --version zeigt danach die Versionsnummer an. Die App, Control und die Engine haben separate Versionsnummern, daher können die drei abweichen.
strata update --check
strata update
strata --version
Mit einem geladenen Modell benennt strata update es und fragt, bevor es gestoppt wird. Die neue Engine wird heruntergeladen, während dieses Modell weiterbedient wird; nach dem Wechsel fragt Strata, ob dieselben Einstellungen erneut gestartet werden sollen. Ein fehlgeschlagener Update-Prozess lässt die alte Engine im Einsatz, und Modelldateien und gespeicherte Einstellungen bleiben erhalten. strata components rollback kehrt zur vorherigen Engine zurück.
Zwei Einstellungen, die beim ersten Lauf zu überprüfen sind
-
Sampling. In 0.2.11 folgt eine Pack-Konfiguration ohne
sampling-Block der Modellkarte. Denkanfragen erhalten Temperatur 1,0, top_p 0,95 und top_k 20. Nicht-Denkanfragen erhalten 0,7, 0,8 und 20, mit presence_penalty 1,5. Die Priorität ist die Anfrage, dann die Chateinstellungen der Web-UI, dann der Konfigurationsblock, dann die Karte. Temperatur 0 gilt nur, wenn die Anfrage oder der Block sie festlegt, und diese greedy-Läufe sind die, die bei diesem Checkpoint in Wiederholungs-Schleifen fielen. Wenn eine ältere Pack-Konfiguration immer noch"sampling": {"temperature": 0}enthält, ersetzen Sie es durch das Denkvorgabemodell der Karte. -
tool_call_recovery. Der Schlüssel befindet sich in der Modell-Laufkonfiguration (strata-*.json). Er ist standardmäßig seit 0.2.8 aktiviert und in 0.2.7 und früher deaktiviert. Stratas Engine-Anmerkungen berichten unter Berufung auf 1.462 Agenten-Runden, dass mit dem Schalter 98,3 % der Aufrufe wie beabsichtigt gelesen wurden und ohne 92,9 %. Es akzeptiert vier Formen eines Aufrufs, dessen Name in der Anfrage war: ein<parameter=NAME>-Tag, JSON innerhalb von<tool_call>, ein<function=NAME>-Block ohne<tool_call>-Wrapper und ein zweiter Aufruf innerhalb eines<tool_call>. Ein undeklarierter Name oder defektes JSON bleibt Text. Bei 0.2.7 und früher, setzen Sie"tool_call_recovery": true. Lassen Sie den 0.2.11-Standard für Agenten-Arbeit aktiviert.
Den Server auf dem Localhost lassen
Der Server bindet standardmäßig an den Localhost, und die Zugriffseinstellungen sind Teil von strata launch. Die Endpunkte zeigen das Modell und das Gespräch auf dieser Maschine an, und sie wurden nicht für ein offenes Netzwerk gebaut. Wenn eine andere Maschine sie benötigt, stellen Sie einen authentifizierten Reverse-Proxy vor den Port.
ss -ltnp | grep :8080 # Bestätigen Sie, dass der Listener 127.0.0.1 ist, nicht 0.0.0.0
curl -s http://127.0.0.1:8080/v1/models # Der Server antwortet auf dem Localhost
Karten mit 13 GB VRAM oder weniger
STRATA_ROUTE_PRIOR=1.5 weist den Router an, Experten zu bevorzugen, die bereits auf der Karte sind. Stratas Anmerkungen für eine RTX 3060 mit 12 GB, die IQ3_XXS ausführt, berichten über +15 % bei Geschichtendekodierung und +37 % bei Codedekodierung im Vergleich zum Prior, der deaktiviert war, und weniger bestellte Agentenaufgaben: durchschnittlich 4,5 von 10 über 4 Läufe, gegenüber 5,6 von 10 über 7 Läufe mit deaktiviertem Prior. Version 0.2.7 schaltete 1,5 für diskrete NVIDIA-Karten mit 13 GiB oder weniger standardmäßig ein. Version 0.2.8 schaltete dies am 29.10.2026 wieder aus, nach Wiederholungen und schwächeren langen Agentensitzungen (Problem #4402). Mit dem nicht gesetzten Variablenwert routet 0.2.11 so wie 0.2.6. Das Projekt empfiehlt den Prior für Chat und kurze Antworten auf einer 12-GB-Karte, und nicht für lange Agentenläufe.
Testumgebung: Ein 64-GB-Desktop, der einen Agenten ausführt
Die gemessene Box:
| Komponente | Spezifikation |
|---|---|
| CPU | Intel Core Ultra 7 265 (20 Kerne, DDR5-6400 Dual-Channel ≈ 102 GB/s) |
| GPU | RTX 5090, 32 GB |
| RAM | 64 GB |
| Betriebssystem | Ubuntu 26.04 |
| Ebenfalls laufend | KVM-Host für die Hermes-VM, Cursor-IDE, Browser |
Mit ISTA IQ3_XXS beträgt das residentes Shard 47 GB. Da die Experten gepinnt sind, verbleiben etwa 9 GB für alles andere. Die Hermes-VM – der Agenten-Stack in der Hermes-Produktionskonfiguration – plus Cursor lässt etwa 5 GB übrig, was nicht genug Page-Cache oder KV-Cache für eine lange Agentensitzung ist.
ISTA IQ3_S passt auf diese Maschine nicht als täglicher Desktop. Das 54,8-GB-Resident-Shard plus die 28,8-GB-mappede N-Gramm-Tabelle nutzen die 64 GB. Mit laufendem Cursor bleiben 3 GB frei, und die Hermes-VM hat nirgendwohin.
| Konfiguration | Resident | Freier RAM (nur Modell) | Freier RAM (Modell + VM + Cursor) | Dekodierung (gemessen) | Agentisches Urteil |
|---|---|---|---|---|---|
| IQ3_XXS (3,00 bpw) | 47 GB | ~9 GB | ~5 GB | – | Tool-Aufrufe schlagen regelmäßig fehl; kein Alltagsfahrer |
| IQ3_S (3,50 bpw) | 54,8 GB + 28,8 GB mmap | ~3 GB (nur Cursor) | – | 100–130 Tok/s | Kein Puffer überhaupt; nicht nutzbar |
IQ3_S dekodiert mit 100–130 Token/s, derselben Geschwindigkeitsklasse wie ein 27B-Aufbau mit llama.cpp und MTP 3 in der Qwen-3.6-MTP-Vergleich. Das Paket, das ins RAM-Budget passt (IQ3_XXS), ist dasjenige, das das Tool-Aufruf-Format verfehlt. Das Paket, das ISTA empfiehlt (IQ3_S), lässt keinen Platz für den Rest des Desktops.
Bei IQ3_XXS emittierte das Modell fehlerhafte Tool-Aufruf-Argumente, erfand Tool-Namen, die nicht im Schema waren, und stellte denselben Befehl dreimal bis fünfmal nach einem kurzen Denkblock erneut aus. Der Harness behandelt jeden Fehler als Wiederholung, sodass die Sitzung mit demselben Fehler gefüllt wird. Auf dieser Hardware ist IQ3_XXS kein Agentenmodell.
Was die Community berichtet
Geschwindigkeitsberichte für Qwen3.8-Flash-Next auf Strata, aus Problem-Threads und den 0.2.11-Notizen:
| Setup | Ergebnis |
|---|---|
| 2× RTX 4090 | 6.553 Prompt t/s, 271 Dekodier t/s Einzelstrom |
| RTX 5080 + 4060 Ti, 32 GB RAM | 200+ Tok/s Dekodier-Spitzen |
| 12 GB VRAM + 32 GB RAM, Experten auf CPU ausgelagert | ~65 Tok/s; ein Kommentar bei 199K Kontext mit q8 KV: 1.740 Prompt t/s, ~21,5 Dekodier t/s |
| RTX 5070 12 GB + 64 GB RAM, IQ3_S | 85–100 Tok/s Dekodierung |
| Pro 6000 + 2× 3090, 256 GB RAM, Unsloth 6-Bit, 160K Kontext | Dekodierung 70–80 → 150 Tok/s nach Wechsel von llama-server zu Strata |
| RTX 2060 Laptop, 32 GB RAM + 6 GB VRAM | Q2_0 läuft überhaupt |
| RTX 3060 12 GB, UD-IQ1_M, kurze Prompts (0.2.11-Notizen) | 31–37 Dekodier-Tok/s, 18 % der Experten auf der Karte |
Drei Fehlermodi sind für Low-Bit-Qwen3.8-Flash-Next in agentischen Arbeitslasten dokumentiert.
-
Verunstaltete Tool-Aufruf-Emission, die mit der Größe des Schemas korreliert. Problem #1431 berichtet, dass mit 39 Funktions-Schemas (ca. 12K Token) und einem 6K-System-Prompt IQ3_XXS auf Strata 0.1.40 in etwa 30–50 % von 20 kontrollierten Wiederholungen einen nutzbaren Turn produzierte. Das Modell emittierte entweder eine Tool-Aufruf-Form, die der Parser nicht zuordnen konnte – der Text landete in
contentmitfinish_reason: stop– oder schloss den Denkblock und emittierte Ende-Sequenz ohne Aufruf und ohne Antwort. Dieselben Gewichte auf llama.cpp parseeten Tool-Aufrufe in allen 8 aufeinanderfolgenden Läufen. llama.cpp beschränkt die Emission mit einer PEG-Grammatik und hebt verunstalteten Inhalt wieder intool_callshoch. Ein Wrapper, der den Text danach reparierte, brachte die nutzbare Turn-Rate nicht über diese 30–50-%-Marke, da die Reparatur nach der Auswahl der Token erfolgt. -
Konfigurationsfehler und ein nicht-deterministischer Expertenpfad. Problem #2685 berichtet eine RTX 5070, IQ3_S und 60 GB RAM, mit Tool-Aufrufen, die durch Strata fehlschlugen: fehlerhafte Argumente, halluzinierte Tools und Wiederholungsschleifen, einschließlich nachdem ein Sampling-Block und
tool_call_recoveryaktiviert wurden. Dieselbe Quantisierung durchllama serveschlug in 5 von 5 Läufen des selben Harness erfolgreich. Der Berichtersteller stellte fest, dass identische Samen im MMQ-Expertenpfad während des Prefills divergierten, und dass die Deaktivierung dieses Pfades die Läufe bit-identisch machte. Strata 0.1.44 lieferte Determinismus-Fixes. Spätere Berichte zeigen immer noch nicht, dass Strata bei derselben Quantisierung llama.cpp entspricht. -
Tool-Aufrufe, die im Denkblock bleiben. Problem #804 berichtet, dass ein vollständiger Tool-Aufruf innerhalb eines nicht geschlossenen
think-Blocks alsreasoning_contentzurückkommt, mit leeremcontentund ohnetool_calls, und der Agenten-Loop stoppt. Ein Benutzer zählte etwa 1 von 100 Antworten über ungefähr 1.300 reale Agentenantworten, mit Hermes unter Verwendung von IQ3_XXS, IQ2_XS und den Coder-Aufbauten.
Warum Sub-Q4 agentische Tool-Aufrufe zerstört
Ein Tool-Aufruf muss einem Wire-Format entsprechen. Bei 3 Bits verfehlt dieses 125B-Modell dieses Format in einigen Turns, und die Fehler nehmen mit dem Tool-Schema-Kontext zu. Ein größeres Schema verlangt mehr vom Arbeitsgedächtnis, das den Aufruf formt, und Quantisierungsrauschen trifft auf dieses Format. Chat-Turns verbergen es. Agenten-Turns, die hauptsächlich Tool-Aufrufe sind, nicht.
Dieselbe Kompression schadet mehr, wenn wenige Parameter aktiv sind. Der lokale LLM-Vergleich für OpenCode maß ein dichte 27B bei IQ3_XXS mit etwa 5 % Fehlerrate bei einer strukturierten Agentenaufgabe. Low-Aktive-MoE-Checkpoints bei ähnlichen Bitbreiten schlugen härter fehl: Der 35B-A3B hatte 64,2 % Fehler bei IQ3_S und 98,8 % bei IQ4_XS, und der 122B-A10B hatte 80 % Fehler bei IQ3_S und 90 % bei IQ3_XXS. Qwen3.8-Flash-Next aktiviert 6 Mrd. Parameter pro Token, daher verhält sich ein 3-Bit-Paket wie ein kleines Modell bei starker Quantisierung. Diese OpenCode-Läufe zeigen, dass IQ3 und IQ4 die strukturierte Aufgabe für den 35B-A3B und den 122B-A10B verfehlen; sie enthalten keinen Q5-Lauf von Flash-Next. Stratas UD-IQ4_XS-v31 ist seit 0.2.11 herunterladbar, hat keinen Agentenaufgaben-Vergleich in den hier geprüften Quellen und passt nicht in die 64-GB-Box.
Dasselbe GSQ-RCO-Gewicht schlägt fehl, wenn es in llama.cpp und in Ollama geladen wird. llama.cpp beschränkt die Emission immer noch durch eine Grammatik und kann einen verunstalteten Abschnitt wieder in tool_calls heben, sodass der Client einen Aufruf anstelle eines zerbrochenen Strings sieht. Der JSON-Modus von Strata, in den Engine-Anmerkungen, ist Schema-Prompting plus eine Prüfung nach der Generierung, nicht grammatikbeschränkte Dekodierung: Ein falsches Objekt gibt HTTP 502 mit structured_output_failed zurück. tool_call_recovery und die späteren Releases reparieren die oben aufgeführten vier Formen. Sie ändern nicht die Verteilung, aus der das Modell sampelt, was der Grund ist, warum der Wrapper in Problem #1431 nicht über die Emissionsrate hinausklettern konnte.
Strata gibt RAM aus, um die CPU und die GPU im Takt zu halten. Bei 64 GB ist das größte ISTA-Paket, das immer noch Platz für einen Desktop und eine Agenten-VM lässt, IQ3_XXS, und dieses Paket liegt unter der hier gemessenen Emissionsschwelle. IQ3_S dekodiert bereits im selben Bereich wie ein 27B-Modell mit MTP 3, daher ist die Grenze bei diesem Paket RAM. Ein llama.cpp-Lauf mit tragemappt würde weniger RAM belegen und die Dekodiergeschwindigkeit opfern, die Strata schneller als die beiden bei diesem Modell macht.
Urteil
Qwen 2.8 Flash Next übertrifft Qwen3.8-27B in agentischen Benchmarks: DeepSWE 58,7 vs. 42,2, JobBench 55,7 vs. 33,4 und Toolathlon 73,5 vs. 67,1. Mehrstufige Arbeit ist bemerkenswert kompetenter. Die pro-Token-Berechnung ist einem kleinen Modell näher als einem 125B-Modell.
Quantisierungen unter Q4 liefern keine zuverlässige Tool-Aufruf-Emission für agentische Arbeit, mit Fehlraten, die Wiederholungsschleifen auf sowohl Strata als auch llama.cpp erzeugen. Q4-Leistung ist noch nicht durch kontrollierten Vergleich auf Agenten-Benchmarks bewiesen. Q5-Klasse-Quantisierungen sind der bewiesene Untergrenze für zuverlässige agentische Arbeit; das Unsloth UD-Q5_K_XL existiert, aber es fehlen veröffentlichte Benchmarks. Dieselbe Sub-Q4-Strukturierte-Ausgabe-Regel gilt bei der Vorauswahl von abliterierten Qwen-Aufbauten in Wie man ein unzensiertes LLM auswählt.
Ein Mac Studio mit einem M5 Max und 128 GB Unified Memory kann den 105-GB-MLX-Aufbau oder ein Q4-Paket mit genügend Puffer für den Agenten-Stack halten. Die QFN-Architektur wurde für dieses Offloading-Modell designed.
Ich werde in meiner aktuellen Einrichtung ein NVFP4-27B-Modell weiterverwenden – 17 GB auf der RTX 5090 – mit MTP 3. Es erzielt über 100 Token/s mit zuverlässigen Tool-Aufrufen und ohne RAM-Konkurrenz. Ich kehre zu QFN zurück, wenn eine Q4-Klasse-Quantisierung auf Agentenaufgaben gemessen wurde, wenn Stratas Emissionswiederherreibung reift oder wenn die Hardware aktualisiert wird.
Referenzen
- Niko1221/Strata — die Inferenz-Engine in diesem Artikel. Der OSDI-2026-Hierarchische-KV-Aufsatz für SGLang ist ein anderes Projekt mit demselben Namen.
- Strata 0.2.11 Release-Notizen — Unsloth Dynamic v3.1-Pakete, Q5_0-Mathematik und die oben zitierten Kurzprompt-Geschwindigkeiten.
- Engine-Anmerkungen (
docs/DETAILS.md) — Sampling-Priorität,tool_call_recoveryund die Route-Prior-Messungen. - Installationsanmerkungen, Aktualisieren —
strata update --check,strata updateundstrata --version. - Qwen/Qwen3.8-Flash-Next — Architektur, Sampling-Vorgaben und die Benchmark-Tabelle.
- ISTA-DASLab Qwen3.8-Flash-Next GSQ-RCO GGUFs — die Q2- und IQ3-Aufbauten in der Testumgebung.
- Problem #1431, Problem #2685, Problem #804 und Problem #4402 — die Fehlerberichte in den Community- und Small-Karten-Abschnitten.
Nützliche Links
- Wahl des besten LLMs für Ollama auf einer 16-GB-VRAM-GPU — dichte-Modell-Alternativen, wenn die Karte die Grenze ist.
- Ollama-Spickzettel — der andere lokale Server, in den dieselben GGUFs importiert werden können.