Was ist ein LLM-ASIC?

Ein LLM-ASIC (Application-Specific Integrated Circuit) ist ein spezialisierter Chip, der speziell für die Ausführung von Inferenz-Workloads großer Sprachmodelle entwickelt wurde. Er ist auf Niederpräzisionsarithmetik, Speicherbandbreite und Latenz-sensitive Operationen optimiert, im Gegensatz zur universellen Rechenleistung, die GPUs bieten.

Wie viel schneller sind Inferenz-ASICs im Vergleich zu GPUs?

Moderne Inferenz-ASICs wie Groqs LPU liefern eine bis zu 18-mal höhere Durchsatzrate und eine bis zu 10-mal schnellere Zeit bis zum ersten Token im Vergleich zu hochperformanten GPUs wie der NVIDIA H100. Sie erzielen zudem eine 10- bis 50-mal bessere Leistung pro Watt, was bei großem Maßstab zu erheblichen Kosteneinsparungen führt.

Warum können wir nicht einfach GPUs für die KI-Inferenz verwenden?

Während GPUs für die Inferenz gut geeignet sind, sind sie für diese Aufgabe überdimensioniert. Sie unterstützen High-Precision-Arithmetik (FP32/FP16), obwohl die Inferenz oft nur 8- oder 4-Bit-Bedienung erfordert, verbrauchen Energie für ungenutzte Funktionen und sind nicht auf die typischen, durch die Speicherbandbreite limitierten Workloads von Transformer-Modellen optimiert.

Was ist der Nachteil der Verwendung spezialisierter Inferenz-Chips?

Die wesentlichen Nachteile sind die eingeschränkte Flexibilität (ASICs können bei neuen Modellarchitekturen an Grenzen stoßen), hohe Anfangskosten für die Entwicklung (mehrere Millionen für die Chipentwicklung) und die Abhängigkeit von Software-Ökosystemen (Compiler und Frameworks). Zudem handelt es sich um eine langfristige Wette auf bestimmte Architekturkonzepte.

Wer baut diese Inferenz-ASICs?

Zu den wichtigsten Akteuren zählen Groq (LPU), Etched AI (Sohu), Tenstorrent (Grayskull/Blackhole), Intel (Crescent Island), Cerebras (WSE-3), Taalas (HC1 und Roadmap HC2) sowie gerüchteweise Kooperationen wie OpenAI mit Broadcom. Zahlreiche Startups wie d-Matrix, Rain AI und Mythic dringen ebenfalls in den Markt ein.

Was sind Taalas HC1 und die Chat Jimmy-Demo?

Taalas ist ein Startup für Inferenz-Hardware, das ein bestimmtes Modell in maßgeschneiderte Siliziumchips fest verdrahtet. Ihr erstes öffentliches Produkt, der HC1, läuft mit einer quantisierten Llama-3.1-8B-Variante. Das Unternehmen bietet einen kostenlosen Web-Chatbot unter der Marke Chat Jimmy an und stellt API-Zugriffe über ein Antragsformular bereit. Gemäß Unternehmensangaben werden für dieses Modell rund sechzehn bis siebzehntausend dekoderte Tokens pro Sekunde und pro Nutzer erreicht, was deutlich über dem typischen GPU-Serving für dieselbe Modellklasse liegt. Dies erfolgt jedoch auf Kosten einer fixierten Architektur und aggressiver Quantisierung in der ersten Generation. Es handelt sich um einen bewussten Proof of Concept für ein kleines, praxistaugliches Modell, nicht um einen Frontier-Assistenten, und eignet sich für Entwickler, denen Latenz und Kosten wichtiger sind als maximale Leistungsfähigkeit.

Werden Inferenz-ASICs GPUs vollständig ersetzen?

Nein. Die Zukunft wird höchstwahrscheinlich Hybrid-Cluster beinhalten, in denen GPUs flexible Trainingslasten verarbeiten, während ASICs die produktionsreife Inferenz im großen Maßstab sicherstellen. GPUs bleiben für Forschung, Modellentwicklung und Training unverzichtbar, während ASICs die Effizienz der Bereitstellung optimieren.

Wo finde ich weitere Informationen zu LLM-Leistung und Benchmarks?

Unser LLM Performance Hub behandelt Durchsatz und Latenz, VRAM-Limits, parallele Anfragen sowie Benchmarks über verschiedene Runtimes und Hardware hinweg.

LLM-ASICs und spezialisierte Inferenz-Chips (weshalb sie wichtig sind)

ASICs und maßgeschneiderte Chips steigern die Geschwindigkeit und Effizienz der LLM-Inferenz

Inhaltsverzeichnis

Die Zukunft der KI dreht sich nicht nur um intelligentere Modelle. Es geht auch um Silizium, das dazu passt, wie diese Modelle tatsächlich bereitgestellt werden. Spezialisierte Hardware für LLM-Inferenz folgt einem Weg, der an den Übergang beim Bitcoin-Mining von GPUs zu zweckgebauten ASICs erinnert, nur mit härteren Einschränkungen, da sich Modelle und Präzisionsverfahren ständig weiterentwickeln.

Für weitere Informationen zu Durchsatz, Latenz, VRAM und Benchmarks über verschiedene Laufzeitumgebungen und Hardware hinweg, siehe LLM-Leistung: Benchmarks, Flaschenhälse & Optimierung.

LLM ASIC electrical cirquit Electrical Imagination - Flux Text-to-Image-LLM.

Warum LLMs von inferenzspezifischer Hardware profitieren

Large Language Models haben die KI revolutioniert, aber jede flüssige Antwort hängt von großen, vorhersehbaren Strömen der Matrixmathematik und des Speicherverkehrs ab. Da die Ausgaben für Inferenz steigen – oft übersteigen sie die Trainingskosten über die Lebensdauer eines Modells – werden Chips, die für das Serven, nicht für jede mögliche Workload optimiert sind, wirtschaftlich attraktiv.

Die Analogie zum Bitcoin-Mining ist unvollkommen, aber lehrreich. Beide sind wiederkehrende, gut abgegrenzte Aufgaben, bei denen das Entfernen ungenutzter Allgemeinheit vom Die große Gewinne beim Durchsatz und Joules pro nützlicher Operation bringen kann.

Was die Geschichte des Bitcoin-Minings über Inferenz-ASICs aussagt

Das Bitcoin-Mining durchlief vier Generationen:

Ära	Hardware	Hauptvorteil	Einschränkung
2015–2020	GPUs (CUDA, ROCm)	Flexibilität	Hoher Stromverbrauch, speicherbegrenzt
2021–2023	TPUs, NPUs	Grobgranulare Spezialisierung	Immer noch trainingsorientiert
2024–2025	Transformer-ASICs	Auf Low-Bit-Inferenz abgestimmt	Begrenzte Allgemeinheit

KI folgt einem ähnlichen Weg. Jeder Übergang verbesserte Leistung und Energieeffizienz um Größenordnungen.

Allerdings benötigen Inferenz-ASICs im Gegensatz zu Bitcoin-ASICs (die nur SHA-256 berechnen) eine gewisse Flexibilität. Modelle entwickeln sich weiter, Architekturen ändern sich und Präzisschemata verbessern sich. Der Kniff besteht darin, sich genug zu spezialisieren – die Kernmuster fest verdrahten, während man Anpassungsfähigkeit an den Rändern aufrechterhält.

Wie LLM-Inferenz sich vom Training unterscheidet (und was Chips ausnutzen)

Inferenz-Workloads offenbaren Muster, die spezialisierte Hardware anvisieren kann:

Niedrige Präzision dominiert — 8-Bit, 4-Bit, sogar ternäre oder binäre Arithmetik funktionieren gut für Inferenz
Speicher ist der Flaschenhals — Das Verschieben von Gewichten und KV-Caches verbraucht viel mehr Energie als die Berechnung
Latenz ist wichtiger als Durchsatz — Benutzer erwarten Tokens in unter 200 ms
Massive Parallelität von Anfragen — Tausende parallele Inferenzanfragen pro Chip
Vorhersehbare Muster — Transformer-Schichten sind stark strukturiert und können fest verdrahtet werden
Opportunitäten für Sparsity — Modelle verwenden zunehmend Pruning- und MoE-(Mixture-of-Experts-)Techniken

Ein zweckgebauter Inferenzchip kann diese Annahmen fest verdrahten, um 10–50× bessere Leistung pro Watt im Vergleich zu universellen GPUs zu erzielen.

Wer an für LLMs optimierter Inferenzsilizium arbeitet

Der Markt für Inferenz-ASICs umfasst etablierte Unternehmen, Wafer-Scale-Designs und Startups, die auf Transformer-förmiges Silizium wetten:

Unternehmen	Chip / Plattform	Spezialität
Groq	LPU (Language Processing Unit)	Deterministischer Durchsatz für LLMs
Etched AI	Sohu ASIC	Fest verdrahteter Transformer-Engine
Tenstorrent	Grayskull / Blackhole	General ML mit high-Bandwidth-Mesh
Taalas	HC1 (Llama 3.1 8B Produkt) / HC2 Roadmap	Modellspezifisches „Hardcore"-Silizium; vereint Speicher und Compute
OpenAI × Broadcom	Custom Inference Chip	Gerüchtete Einführung 2026
Intel	Crescent Island	Nur Inferenz Xe3P GPU mit 160 GB HBM
Cerebras	Wafer-Scale Engine (WSE-3)	Massive on-die Speicherbandbreite

Ein großer Teil davon ist bereits in Produktiv-Data-Centern im Einsatz, nicht nur in Präsentationen. Kleinere Teams wie d-Matrix, Rain AI, Mythic und Tenet verfolgen ebenfalls Architekturen, die auf Low-Bit-Inferenz und strukturierte Sparsity abgestimmt sind.

Taalas HC1, Chat Jimmy und ultralange Serven kleiner Modelle

Taalas ist ein Beispiel für den Ansatz „fast alles spezialisieren". Das Unternehmen argumentiert, dass die Grenze zwischen Speicher und Compute (Off-Chip-DRAM gegenüber On-Chip-SRAM) Kosten, Leistung und Engineering-Komplexität für die Inferenz dominiert, und dass modellspezifisches Silizium – was sie Hardcore Models nennen – diese Grenze aufheben kann, wenn eine Bereitstellung bereit ist, die Gewichte und den Graphen zu fixieren.

Ihr erstes Produkt, das ausgeliefert wird, HC1, verdrahtet eine Llama 3.1 8B-Variante fest. Diese Wahl ist pragmatisch: Das Modell ist klein genug, um schnell gestartet zu werden, ist offen dokumentiert und immer noch nützlich für viele Automatisierungs-, Klassifizierungs- und Entwurf-Aufgaben, bei denen die reine Schärfe der Schlussfolgerungen weniger wichtig ist als Latenz und Kosten. Taalas berichtet über eine Größenordnung von 16k–17k dekodierten Tokens pro Sekunde pro Benutzer für diese Konfiguration (Methodik und Vergleiche des Herstellers erscheinen in deren Schreiben), zusammen mit Behauptungen großer Gewinne bei Kapital und Strom im Vergleich zu konventionellen GPU-Stacks für dieselbe Modellklasse. Teile der ersten Generation verwenden aggressive mixed-Low-Bit-Speicherung; das Unternehmen beschreibt den Übergang zu standardmäßigen 4-Bit-Gleitformaten auf HC2, um Spielraum in der Qualität zu gewinnen.

llm asics infference

Für Entwickler, die spüren möchten, was diese Durchsatzklasse in der Praxis bedeutet, betreibt Taalas eine kostenlose Chatbot-Demo, Chat Jimmy, und bietet API-Zugriff über ein Antragsformular auf ihrer Website. Es ist ausdrücklich ein Proof of Concept — kein Frontier-Assistent —, aber es illustriert eine echte Zielgruppe, die ein bescheidenes Modell mit „Geschwindigkeit der menschlichen Kognition" einem größeren Modell vorziehen könnte, das sich träge oder teuer anfühlt.

Architektur eines Transformer-Inferenz-ASICs

Wie sieht ein für Transformer optimierter Chip unter der Haube tatsächlich aus?

+--------------------------------------+
|         Host Interface               |
|   (PCIe / CXL / NVLink / Ethernet)   |
+--------------------------------------+
|  On-chip Interconnect (mesh/ring)    |
+--------------------------------------+
|  Compute Tiles / Cores               |
|   — Dense matrix multiply units      |
|   — Low-precision (int8/int4) ALUs   |
|   — Dequant / Activation units       |
+--------------------------------------+
|  On-chip SRAM & KV cache buffers     |
|   — Hot weights, fused caches        |
+--------------------------------------+
|  Quantization / Dequant Pipelines    |
+--------------------------------------+
|  Scheduler / Controller              |
|   — Static graph execution engine    |
+--------------------------------------+
|  Off-chip DRAM / HBM Interface       |
+--------------------------------------+

Wichtige architektonische Merkmale umfassen:

Compute-Kerne — Dichte Matrix-Multiplizier-Einheiten, optimiert für int8, int4 und ternäre Operationen
On-Chip-SRAM — Große Puffer halten heiße Gewichte und KV-Caches, was teure DRAM-Zugriffe minimiert
Streaming-Interconnects — Mesh-Topologie ermöglicht effizientes Skalieren über mehrere Chips
Quantisierungs-Engines — Echtzeit-Quantisierung/Dequantisierung zwischen Schichten
Compiler-Stack — Übersetzt PyTorch/ONNX-Graphen direkt in chip-spezifische Mikro-Operationen
Fest verdrahtete Attention-Kerne — Eliminiert Steuerungsfluss-Overhead für Softmax und andere Operationen

Die Designphilosophie spiegelt Bitcoin-ASICs wider: Jeder Transistor dient der spezifischen Workload. Kein verschenkte Silizium für Funktionen, die die Inferenz nicht braucht.

GPU- gegenüber ASIC-Benchmarks für LLM-Inferenz

Repräsentative öffentliche Zahlen zeigen, wie spezialisierte Inferenzhardware sich von universellen GPU-Stacks auf denselben Modellfamilien absetzen kann (prüfen Sie immer Methodik und Batching-Voraussetzungen für Ihre eigenen Workloads):

Modell	Hardware	Durchsatz (Tokens/s)	Zeit bis zum ersten Token	Leistungsfaktor
Llama-2-70B	NVIDIA H100 (8x DGX)	~80–100	~1,7 s	Baseline (1×)
Llama-2-70B	Groq LPU	241–300	0,22 s	3–18× schneller
Llama-3.3-70B	Groq LPU	~276	~0,2 s	Konsistent 3×
Gemma-7B	Groq LPU	814	<0,1 s	5–15× schneller
Llama-3.1-8B	Taalas HC1 (Hersteller)	~16k–17k Decode t/s/user	—	Andere Achse (fester 8B-Graph, kein 70B)

Quellen: Groq.com, ArtificialAnalysis.ai, NVIDIA Developer Blog; Taalas HC1-Zahlen aus dem Produkt-Post des Unternehmens.

Die auf Groq bezogenen Zeilen zeigen große Gewinne beim Durchsatz und bei der Zeit bis zum ersten Token im Vergleich zu einer High-End-GPU-Baseline bei großen Modellen. Die Taalas-Zeile ist kein weiterer Multiplikator gegenüber den 70B-Zeilen; sie illustriert, wie weit das Decode pro Benutzer gepusht werden kann, wenn das Modell und der Graph im Silizium fixiert sind, auf Kosten der Flexibilität.

Kompromisse bei der Spezialisierung von Inferenzsilizium

Spezialisierung kauft Leistung, aber sie reintroduziert Produkt- und Engineering-Risiko:

Flexibilität vs. Effizienz. Ein vollständig fester ASIC rast durch die heutigen Transformer-Modelle, könnte aber mit den Architekturen von morgen zu kämpfen haben. Was passiert, wenn sich Attention-Mechanismen weiterentwickeln oder neue Modellfamilien erscheinen? Das ist keine Hypothese — State-Space-Modelle, Diffusions-Sprachmodelle und JEPA-Weltmodelle stellen bereits die Dominanz des Transformers auf der Modellseite in Frage; siehe was nach LLMs kommt für Hinweise, wo diese Architekturen fest verdrahtetes Transformer-Silizium in Schwierigkeiten bringen könnten.
Quantisierung und Genauigkeit. Niedrigere Präzision spart enorme Mengen an Strom, aber das Management von Genauigkeitsverlusten erfordert ausgefeilte Quantisierungsschemata. Nicht alle Modelle quantisieren sich sanft auf 4-Bit oder niedriger.
Software-Ökosystem. Hardware ohne robuste Compiler, Kerne und Frameworks ist nutzlos. NVIDIA dominiert immer noch weitgehend wegen des ausgereiften CUDA-Ökosystems. Neue Chiphersteller müssen stark in Software investieren.
Kosten und Risiko. Das Tape-Out eines Chips kostet Millionen von Dollar und dauert 12–24 Monate. Für Startups ist dies eine massive Wette auf Architekturannahmen, die nicht halten könnten.

Dennoch selbst im Hyperscale über setzen 2×-Effizienzgewinne Milliarden an Einsparungen. Für Cloud-Anbieter die Millionen von Inferenzanfragen pro Sekunde ausführen, ist Custom-Silizium zunehmend unverhandelbar.

Ein Wunsch-Liste-Spezifikation für einen LLM-Inferenzchip

Merkmal	Ideale Spezifikation
Prozess	3–5nm-Knoten
On-Chip-SRAM	100 MB+ stark gekoppelt
Präzision	Nativer Support für int8 / int4 / ternär
Durchsatz	500+ Tokens/Sek. (70B-Modell)
Latenz	<100 ms Zeit bis zum ersten Token
Interconnect	Low-Latency-Mesh oder optische Links
Compiler	PyTorch/ONNX → Mikrocode-Toolchain
Energie	<0,3 Joules pro Token

Ausblick (2026–2030)

Erwarten Sie, dass sich die Inferenzhardware-Landschaft in drei grobe Ebenen schichtet:

Trainingschips. High-End-GPUs wie NVIDIA B200 und AMD Instinct MI400 werden weiterhin das Training mit ihrer FP16/FP8-Flexibilität und ihrer massiven Speicherbandbreite dominieren.
Inferenz-ASICs. Fest verdrahtete, Low-Precision-Transformer-Acceleratoren werden das Produktionsserven im Hyperscale übernehmen, optimiert für Kosten und Effizienz.
Edge-NPUs. Kleine, ultra-effiziente Chips werden quantisierte LLMs auf Smartphones, Fahrzeuge, IoT-Geräte und Roboter bringen und On-Device-Intelligenz ohne Cloud-Abhängigkeit ermöglichen.

Neben der Hardware allein werden wir sehen:

Hybride Cluster — GPUs für flexibles Training, ASICs (oder Wafer-Scale-Inferenz-Engines) für effizientes Serven
Inference-as-a-Service — Hyperscalers mischen First-Party-Acceleratoren (AWS Inferentia, Google TPU und andere) mit GPUs
Hardware-Software-Co-Design — Modelle geformt für Block-Sparsity, MoE-Routing und quantisierungsfreundliche Schichten
Modellspezifisches oder -familientypisches Silizium — Unternehmen wie Taalas wetten darauf, dass einige Bereitstellungen architektonische Flexibilität gegen extreme Kosten- und Latenzeinsparungen auf einem bekannten Graphen eintauschen
Offene Inferenz-APIs — Druck, Serven-Schnittstellen portabel zu halten, selbst wenn das Silizium es nicht ist

abschließende Gedanken

Die „ASIC-isierung" der KI-Inferenz hat bereits begonnen. So wie sich das Bitcoin-Mining von CPUs zu spezialisiertem Silizium entwickelte, folgt der KI-Einsatz demselben Weg.

Die nächste Revolution in der KI wird nicht um größere Modelle gehen — sie wird um bessere Chips gehen. Hardware, die für die spezifischen Muster der Transformer-Inferenz optimiert ist, wird bestimmen, wer KI wirtschaftlich im großen Maßstab bereitstellen kann.

So wie Bitcoin-Miner jede verschwendete Watto verfeinert haben, wird Inferenzhardware jeden letzten FLOP pro Joule ausquetszen. Wenn das geschieht, wird der wahre Durchbruch nicht in den Algorithmen liegen — er wird im Silizium liegen, das sie ausführt.

Die Zukunft der KI wird in Silizium geätzt, ein Transistor nach dem anderen.

Für weitere Benchmarks, Hardware-Optionen und Performance-Tuning, schauen Sie sich unser Hub für LLM-Leistung: Benchmarks, Flaschenhälse & Optimierung an.