Cosa è un ASIC per LLM?

Un’ASIC LLM (Application-Specific Integrated Circuit) è un chip specializzato, progettato specificamente per eseguire carichi di lavoro di inferenza di grandi modelli linguistici, ottimizzato per l’aritmetica a bassa precisione, la banda di memoria e le operazioni sensibili alla latenza, anziché per l’informatica generale fornita dalle GPU.

Quanto sono più veloci le ASIC per l’inferenza rispetto alle GPU?

Le moderne ASIC per l’inferenza, come la LPU di Groq, possono raggiungere un throughput 3-18 volte più veloce e un tempo fino al primo token fino a 10 volte più rapido rispetto a GPU di fascia alta come l’NVIDIA H100. Inoltre, ottengono una performance per watt superiore del 10-50%, garantendo significativi risparmi sui costi su larga scala.

Perché non possiamo semplicemente usare le GPU per l’inferenza AI?

Sebbene le GPU funzionino bene per l’inferenza, sono sovraprogettate per questo compito: supportano l’aritmetica ad alta precisione (FP32/FP16) quando l’inferenza spesso richiede solo 8 o 4 bit, sprecano energia su funzionalità non utilizzate e non sono ottimizzate per i workload tipici dei modelli transformer, dominati dalla banda di memoria.

Qual è il lato negativo dell’uso di chip specializzati per l’inferenza?

I principali compromessi sono la flessibilità (le ASIC possono avere difficoltà con nuove architetture di modello), i costi iniziali elevati di progettazione (decine di milioni per lo sviluppo del chip) e la dipendenza dagli ecosistemi software (compilatori e framework). Rappresentano inoltre una scommessa a lungo termine su specifici pattern architetturali.

Chi sta sviluppando queste ASIC per l’inference?

Tra i principali attori figurano Groq (LPU), Etched AI (Sohu), Tenstorrent (Grayskull/Blackhole), Intel (Crescent Island), Cerebras (WSE-3), Taalas (HC1 e la roadmap HC2), nonché le presunte collaborazioni, come quella tra OpenAI e Broadcom. Numerose startup, come d-Matrix, Rain AI e Mythic, stanno anch’esse entrando in questo settore.

Cos’è Taalas HC1 e la demo di Chat Jimmy?

Taalas è una startup hardware per l’inferenza che integra in modo fisso un modello specifico in silicio custom. Il loro primo prodotto pubblico, HC1, esegue una variante quantizzata di Llama 3.1 8B. Viene distribuito un chatbot web gratuito, branded Chat Jimmy, e si offre l’accesso API tramite modulo di richiesta. L’azienda riporta un ordine di grandezza di sedici o diciassettemila token decodificati al secondo per utente per tale modello, molto superiore al tipico serving GPU per la stessa classe, a fronte di un’architettura fissa e una quantizzazione aggressiva nella prima generazione. Si tratta di un proof of concept deliberato per un modello piccolo e pratico, non di un assistente frontier, ed è adatto a sviluppatori che privilegiano latenza e costi rispetto alle massime capacità.

Le ASIC per l’inference sostituiranno completamente le GPU?

No. In futuro si prevedono cluster ibridi, in cui le GPU gestiscono carichi di lavoro di training flessibili, mentre le ASIC servono l’inferenza di produzione su larga scala. Le GPU rimarranno essenziali per la ricerca, lo sviluppo di modelli e il training, mentre le ASIC ottimizzeranno l’efficienza del deployment.

Dove posso trovare maggiori informazioni sulle prestazioni e sui benchmark degli LLM?

Il nostro hub sulle prestazioni LLM copre throughput contro latenza, limiti VRAM, richieste parallele e benchmark tra runtime e hardware.

ASIC LLM e chip dedicati all'inferenza (e il perché siano importanti)

Gli ASIC e i chip su misura aumentano la velocità e l'efficienza dell'inferenza dei LLM

Indice

Il futuro dell’AI non riguarda solo modelli più intelligenti. Riguarda anche un silicio che si adegua al modo in cui tali modelli vengono effettivamente serviti. L’hardware specializzato per l’inferenza LLM segue un percorso che richiama il passaggio del mining di Bitcoin dalle GPU agli ASIC dedicati, ma con vincoli più rigidi poiché i modelli e le tecniche di precisione continuano a evolversi.

Per maggiori informazioni su throughput, latenza, VRAM e benchmark tra runtime e hardware, consulta Prestazioni LLM: Benchmark, Colli di Bottiglia e Ottimizzazione.

Circuito elettrico LLM ASIC Immaginazione Elettrica - LLM da testo a immagine Flux.

Perché gli LLM beneficiano dell’hardware specifico per l’inferenza

I grandi modelli linguistici hanno trasformato l’AI, ma ogni risposta fluida dipende da enormi e prevedibili flussi di matematica matriciale e traffico di memoria. Man mano che la spesa per l’inferenza cresce — spesso superando quella per l’addestramento durante il ciclo di vita di un modello — i chip ottimizzati per il servizio (serving), piuttosto che per ogni possibile carico di lavoro, diventano economicamente attraenti.

L’analogia con il mining di Bitcoin è imperfetta ma istruttiva. Si tratta di compiti ripetitivi e ben delimitati in cui l’eliminazione della generalità non necessaria dal die può garantire grandi guadagni in termini di throughput e joule per operazione utile.

Cosa suggerisce la storia del mining di Bitcoin sugli ASIC per l’inferenza

Il mining di Bitcoin si è evoluto attraverso quattro generazioni:

Era	Hardware	Beneficio Chiave	Limitazione
2015–2020	GPU (CUDA, ROCm)	Flessibilità	Consumo elevato, limitato dalla memoria
2021–2023	TPUs, NPUs	Specializzazione a grana grossa	Ancora orientato all’addestramento
2024–2025	ASIC Transformer	Ottimizzato per l’inferenza a bassa precisione	Generalità limitata

L’AI sta seguendo un percorso simile. Ogni transizione ha migliorato le prestazioni e l’efficienza energetica di ordini di grandezza.

Tuttavia, a differenza degli ASIC per Bitcoin (che calcolano solo SHA-256), gli ASIC per l’inferenza hanno bisogno di una certa flessibilità. I modelli evolvono, le architetture cambiano e gli schemi di precisione migliorano. Il trucco è specializzarsi abbastanza — rendendo fisse le pattern core, mantenendo l’adattabilità ai margini.

Come l’inferenza LLM differisce dall’addestramento (e cosa sfruttano i chip)

I carichi di lavoro per l’[inferenza](https://www.glukhov.org/it/llm-performance/hardware/llm-performance-and-pci-lanes/ “Prestazioni LLM e Lane PCIe: Considerazioni Chiave”}) espone schemi che l’hardware specializzato può mirare:

Prevalgono le basse precisioni — l’aritmetica a 8 bit, 4 bit, persino ternaria o binaria funziona bene per l’inferenza
La memoria è il collo di bottiglia — Il spostamento dei pesi e delle cache KV consuma molto più energia del calcolo
La latenza conta più del throughput — Gli utenti si aspettano token in meno di 200ms
Parallellismo massivo delle richieste — Migliaia di richieste di inferenza concorrenti per chip
Schemi prevedibili — Gli strati Transformer sono altamente strutturati e possono essere resi fissi (hardwired)
Opportunità di sparsità — I modelli utilizzano sempre più tecniche di potatura e MoE (Mixture-of-Experts)

Un chip per l’inferenza su misura può rendere fisse queste assunzioni per ottenere prestazioni per watt migliori di 10–50× rispetto alle GPU general-purpose.

Chi sta costruendo silicio per l’inferenza ottimizzato per LLM

Il mercato degli ASIC per l’inferenza copre aziende consolidate, design su scala di wafer e startup che scommettono su silicio a forma di transformer:

Azienda	Chip / Piattaforma	Specialità
Groq	LPU (Language Processing Unit)	Throughput deterministico per LLMs
Etched AI	Sohu ASIC	Motore Transformer hardwired
Tenstorrent	Grayskull / Blackhole	ML general-purpose con mesh ad alta banda
Taalas	HC1 (prodotto Llama 3.1 8B) / roadmap HC2	Silicio “hardcore” specifico per modello; unisce storage e calcolo
OpenAI × Broadcom	Chip di Inferenza Custom	Rollout presunto nel 2026
Intel	Crescent Island	GPU Xe3P solo per inferenza con 160GB HBM
Cerebras	Wafer-Scale Engine (WSE-3)	Enorme banda di memoria} on-die

Molto di questo è già nei data center in produzione, non solo nelle presentazioni. Team più piccoli come d-Matrix, Rain AI, Mythic e Tenet stanno anche perseguendo architetture ottimizzate per l’inferenza a bassa precisione e la sparsità strutturata.

Taalas HC1, Chat Jimmy e il servizio ultra-veloce di piccoli modelli

Taalas è un esempio recente della scuola del “specializza quasi tutto”. L’azienda sostiene che il confine tra memoria e calcolo (DRAM off-chip contro SRAM on-chip) domina costo, potenza e complessità ingegneristica per l’inferenza, e che il silicio per-modello — ciò che chiamano Hardcore Models — può collassare quel confine quando una distribuzione è disposta a fissare i pesi e il grafo.

Il loro primo prodotto in spedizione, HC1, rende fisso (hard-wires) una variante di Llama 3.1 8B. Questa scelta è pragmatica: il modello è abbastanza piccolo da essere attivato rapidamente, è documentato apertamente e risulta ancora utile per molti compiti di automazione, classificazione e stesura dove la profondità di ragionamento pura conta meno di latenza e costo. Taalas riferisce un ordine di grandezza di 16k–17k token decodificati al secondo per utente per questa configurazione (la metodologia del fornitore e i confronti compaiono nella loro relazione), insieme a affermazioni di grandi guadagni in capitale e potenza rispetto agli stack GPU convenzionali per la stessa classe di modello. I componenti di prima generazione utilizzano un aggressivo storage misto a bassa precisione; l’azienda descrive un passaggio verso formati float standard a 4 bit su HC2 per recuperare margine sulla qualità.

llm asics infference

Per gli sviluppatori che desiderano capire in pratica cosa implichi questa classe di throughput, Taalas offre una demo gratuita di chatbot, Chat Jimmy, e offre accesso API tramite un modulo di richiesta sul loro sito. Si tratta esplicitamente di una proof of concept — non di un assistente frontier — ma illustra una potenziale audience che potrebbe preferire un modello modesto alla “velocità della cognizione umana” rispetto a un modello più grande che appare lento o costoso.

Architettura di un ASIC per l’inferenza Transformer

Com’è in realtà un chip ottimizzato per i transformer sotto il cofano?

+--------------------------------------+
|         Host Interface               |
|   (PCIe / CXL / NVLink / Ethernet)   |
+--------------------------------------+
|  On-chip Interconnect (mesh/ring)    |
+--------------------------------------+
|  Compute Tiles / Cores               |
|   — Dense matrix multiply units      |
|   — Low-precision (int8/int4) ALUs   |
|   — Dequant / Activation units       |
+--------------------------------------+
|  On-chip SRAM & KV cache buffers     |
|   — Hot weights, fused caches        |
+--------------------------------------+
|  Quantization / Dequant Pipelines    |
+--------------------------------------+
|  Scheduler / Controller              |
|   — Static graph execution engine    |
+--------------------------------------+
|  Off-chip DRAM / HBM Interface       |
+--------------------------------------+

Le principali funzionalità architetturali includono:

Core di calcolo — Unità di moltiplicazione matriciale densa ottimizzate per operazioni int8, int4 e ternarie
SRAM on-chip — Grandi buffer che mantengono i pesi caldi e le cache KV, minimizzando gli accessi costosi alla DRAM
Interconnessioni in streaming — La topologia mesh abilita un scaling efficiente su più chip
Motori di quantizzazione — Quantizzazione/dequantizzazione in tempo reale tra gli strati
Stack di compilatori — Traduce i grafi PyTorch/ONNX direttamente in micro-op specifiche del chip
Kernel di attenzione hardwired — Elimina l’overhead del flusso di controllo per softmax e altre operazioni

La filosofia di design riflette quella degli ASIC per Bitcoin: ogni transistor serve il carico di lavoro specifico. Nessun silicio sprecato su caratteristiche di cui l’inferenza non ha bisogno.

Benchmark GPU contro ASIC per l’inferenza LLM

Le cifre pubbliche rappresentative mostrano come l’hardware specializzato per l’inferenza possa distaccarsi dagli stack GPU general-purpose sulle stesse famiglie di modelli (verificare sempre metodologia e ipotesi di batching per i propri carichi di lavoro):

Modello	Hardware	Throughput (token/s)	Tempo fino al primo token	Moltiplicatore di Prestazioni
Llama-2-70B	NVIDIA H100 (8x DGX)	~80–100	~1.7s	Baseline (1×)
Llama-2-70B	Groq LPU	241–300	0.22s	3–18× più veloce
Llama-3.3-70B	Groq LPU	~276	~0.2s	Costante 3×
Gemma-7B	Groq LPU	814	<0.1s	5–15× più veloce
Llama-3.1-8B	Taalas HC1 (fornitore)	~16k–17k decode t/s/utente	—	Asse separato (grafo 8B fisso, non 70B)

Fonti: Groq.com, ArtificialAnalysis.ai, NVIDIA Developer Blog; le cifre di Taalas HC1 provengono dal post sul prodotto dell’azienda.

Le righe focalizzate su Groq mostrano guadagni grandi in throughput e tempo fino al primo token rispetto a una baseline GPU di alto livello su modelli grandi. La riga di Taalas non è un altro moltiplicatore rispetto a quelle righe da 70B; illustra quanto si possa spingere il decoding per utente quando il modello e il grafo sono fissati nel silicio, a costo di flessibilità.

Trade-off quando si specializza il silicio per l’inferenza

La specializzazione compra prestazioni, ma reintroduce rischi di prodotto e ingegneria:

Flessibilità vs. Efficienza. Un ASIC completamente fisso attraversa velocemente i modelli transformer di oggi, ma potrebbe fare fatica con le architetture di domani. Cosa succede quando i meccanismi di attenzione evolvono o emergono nuove famiglie di modelli? Non è un’ipotesi — i modelli a spazio di stato, i modelli linguistici di diffusione e i modelli mondiali JEPA stanno già sfidando il dominio del transformer sul lato dei modelli; consulta cosa viene dopo gli LLM per vedere dove queste architetture potrebbero lasciare a terra il silicio transformer hardwired.
Quantizzazione e Accuratezza. Una precisione inferiore salva enormi quantità di energia, ma gestire la degradazione dell’accuratezza richiede schemi di quantizzazione sofisticati. Non tutti i modelli si quantizzano bene a 4 bit o meno.
Ecosistema Software. L’hardware senza compilatori, kernel e framework robusti è inutile. NVIDIA domina ancora in gran parte grazie all’ecosistema maturo di CUDA. I nuovi produttori di chip devono investire fortemente nel software.
Costo e Rischio. La messa in produzione (taping out) di un chip costa decine di milioni di dollari e richiede 12–24 mesi. Per le startup, questa è una scommessa massiccia su assunzioni architetturali che potrebbero non reggere.

Tuttavia, alla scala iper-scala, anche guadagni di efficienza di 2× si traducono in risparmi per miliardi. Per i [provider cloud](https://www.glukhov.org/it/developer-tools/comparisons/popularity-of-ai-tools-programming-languages-ides-cloud-providers/ “Popolarità dei Linguaggi di Programmazione e Strumenti per Sviluppatori Software”}) che gestiscono milioni di richieste di inferenza al secondo, il silicio custom è sempre più indispensabile.

Una specifica da lista dei desideri per un chip di inferenza LLM

Caratteristica	Specifica Ideale
Processo	Node 3–5nm
SRAM On-chip	100MB+ strettamente accoppiato
Precisione	Supporto nativo int8 / int4 / ternario
Throughput	500+ token/sec (modello 70B)
Latenza	<100ms tempo fino al primo token
Interconnessione	Mesh a bassa latenza o link ottici
Compilatore	Toolchain PyTorch/ONNX → microcodice
Energia	<0.3 joule per token

Prospettive future (2026–2030)

Aspettatevi che il panorama dell’hardware per l’inferenza si stratifichi in tre fasce grossolane:

Chip per l’Addestramento. GPU di fascia alta come NVIDIA B200 e AMD Instinct MI400 continueranno a dominare l’addestramento con la loro flessibilità FP16/FP8 e l’enorme banda di memoria.
ASIC per l’Inferenza. Acceleratori transformer hardwired a bassa precisione gestiranno il serving in produzione alla scala iper-scala, ottimizzati per costo ed efficienza.
NPU per Edge. Piccoli chip ultra-efficienti porteranno gli LLM quantizzati su smartphone, veicoli, dispositivi IoT e robot, abilitando l’intelligenza on-device senza dipendenza dal cloud.

Oltre all’hardware da solo, vedremo:

Cluster ibridi — GPU per l’addestramento flessibile, ASIC (o motori di inferenza su scala di wafer) per il serving efficiente
Inferenza-as-a-Service — Iper-scaler che mischiano acceleratori di prima parte (AWS Inferentia, Google TPU, e altri) con le GPU
Co-design hardware–software — Modelli sagomati per sparsità a blocchi, routing MoE e strati amichevoli alla quantizzazione
Silicio per-modello o per-famiglia — Aziende come Taalas che scommettono che alcune distribuzioni scambieranno la flessibilità architetturale per costo e latenza estremi su un grafo noto
API di inferenza aperte — Pressione per mantenere le interfacce di serving portabili anche quando il silicio non lo è

Pensieri finali

L’“ASIC-izzazione” dell’inferenza AI è già in corso. Proprio come il mining di Bitcoin si è evoluto dalle CPU al silicio specializzato, il deployment dell’AI} sta seguendo lo stesso percorso.

La prossima rivoluzione nell’AI non sarà sui modelli più grandi — sarà sui chip migliori. L’hardware ottimizzato per gli schemi specifici dell’inferenza transformer determinerà chi potrà distribuire l’AI economicamente alla scala.

Proprio come i minatori di Bitcoin hanno ottimizzato via ogni watt sprecato, l’hardware per l’inferenza spremà ogni ultimo FLOP-per-joule. Quando ciò accadrà, la vera scoperta non sarà negli algoritmi — sarà nel silicio che li esegue.

Il futuro dell’AI sta venendo inciso nel silicio, un transistor alla volta.

Per ulteriori benchmark, scelte hardware e ottimizzazione delle prestazioni, controlla la nostra hub Prestazioni LLM: Benchmark, Colli di Bottiglia e Ottimizzazione.