ASICs para LLMs e chips de inferência especializados (por que eles importam)

ASICs e silício personalizado impulsionam a velocidade e a eficiência da inferência de LLMs

Conteúdo da página

O futuro da IA não se trata apenas de modelos mais inteligentes. Trata-se também de silício que corresponda à maneira como esses modelos são realmente servidos. O hardware especializado para inferência de LLM segue um caminho reminiscente da transição do mineração de Bitcoin de GPUs para ASICs de propósito específico, mas com restrições mais difíceis, pois os modelos e as receitas de precisão continuam a evoluir.

Para mais informações sobre vazão, latência, VRAM e benchmarks entre runtimes e hardware, consulte Desempenho de LLM: Benchmarks, Gargalos e Otimização.

Circuito elétrico de ASIC para LLM Electrical Imagination - Flux text to image LLM.

Por que LLMs se beneficiam de hardware específico para inferência

Os grandes modelos de linguagem transformaram a IA, mas cada resposta fluente depende de enormes e previsíveis fluxos de matemática matricial e tráfego de memória. À medida que o gasto com inferência cresce — frequentemente ultrapassando o treinamento ao longo da vida útil de um modelo —, os chips otimizados para servir (serving), e não para todos os possíveis trabalhos, tornam-se economicamente atraentes.

A analogia com a mineração de Bitcoin é imperfeita, mas instrutiva. Ambos são tarefas repetitivas e delimitadas, nas quais a remoção da generalidade não utilizada do die pode comprar grandes ganhos em vazão e joules por operação útil.

O que a história da mineração de Bitcoin sugere sobre ASICs de inferência

A mineração de Bitcoin evoluiu através de quatro gerações:

Era Hardware Benefício Principal Limitação
2015–2020 GPUs (CUDA, ROCm) Flexibilidade Alto consumo de energia, limitado pela memória
2021–2023 TPUs, NPUs Especialização de grão grosso Ainda orientada para treinamento
2024–2025 ASICs de Transformer Otimizados para inferência de baixo bit Generalidade limitada

A IA segue um caminho semelhante. Cada transição melhorou o desempenho e a eficiência energética em ordens de magnitude.

No entanto, ao contrário dos ASICs de Bitcoin (que apenas calculam SHA-256), os ASICs de inferência precisam de alguma flexibilidade. Os modelos evoluem, as arquiteturas mudam e os esquemas de precisão melhoram. O truque é se especializar o suficiente — conectando fisicamente (hardwiring) os padrões centrais, mantendo a adaptabilidade nas bordas.

Como a inferência de LLM difere do treinamento (e o que os chips exploram)

As cargas de trabalho de inferência expõem padrões que o hardware especializado pode abordar:

  • Baixa precisão predomina — Aritmética de 8 bits, 4 bits, até ternária ou binária funciona bem para inferência
  • A memória é o gargalo — Mover pesos e caches de KV consome muito mais energia do que a computação
  • A latência é mais importante que a vazão — Os usuários esperam tokens em menos de 200ms
  • Paralelismo maciço de requisições — Milhares de requisições de inferência concorrentes por chip
  • Padrões previsíveis — As camadas Transformer são altamente estruturadas e podem ser conectadas fisicamente
  • Oportunidades de esparsidade — Os modelos usam cada vez mais técnicas de poda e MoE (Mixture-of-Experts)

Um chip de inferência de propósito construído pode conectar fisicamente essas suposições para alcançar 10–50× melhor desempenho por watt do que GPUs de propósito geral.

Quem está construindo silício de inferência otimizado para LLM

O mercado de ASICs de inferência abrange grandes empresas, designs de escala de wafer e startups que apostam em silício em forma de transformador:

Empresa Chip / Plataforma Especialidade
Groq LPU (Language Processing Unit) Vazão determinística para LLMs
Etched AI Sohu ASIC Motor Transformer conectado fisicamente
Tenstorrent Grayskull / Blackhole ML geral com malha de alta largura de banda
Taalas HC1 (produto Llama 3.1 8B) / roadmap HC2 Silício “hardcore” específico para modelos; mescla armazenamento e computação
OpenAI × Broadcom Chip de Inferência Personalizado Lançamento rumorado em 2026
Intel Crescent Island GPU Xe3P apenas para inferência com 160GB de HBM
Cerebras Wafer-Scale Engine (WSE-3) Enorme largura de banda de memória no die

Muito disso já está em centros de dados de produção, não apenas em apresentações. Equipes menores, como d-Matrix, Rain AI, Mythic e Tenet, também estão perseguindo arquiteturas ajustadas para inferência de baixo bit e esparsidade estruturada.

Taalas HC1, Chat Jimmy e a execução ultrarrápida de modelos pequenos

A Taalas é um exemplo recente da escola “especializar quase tudo”. A empresa argumenta que a fronteira entre memória e computação (DRAM fora do chip versus SRAM dentro do chip) domina o custo, a energia e a complexidade de engenharia para inferência, e que silício por modelo — o que eles chamam de Modelos Hardcore — pode colapsar essa fronteira quando uma implantação está disposta a fixar os pesos e o grafo.

Seu primeiro produto em lançamento, o HC1, conecta fisicamente uma variante Llama 3.1 8B. Essa escolha é pragmática: o modelo é pequeno o suficiente para ser implementado rapidamente, documentado abertamente e ainda útil para muitas tarefas de automação, classificação e rascunho, onde a profundidade de raciocínio bruto importa menos que latência e custo. A Taalas relata, na ordem de 16k–17k tokens decodificados por segundo por usuário para esta configuração (a metodologia do fornecedor e as comparações aparecem no seu relato), juntamente com alegações de grandes ganhos em capital e energia em comparação com pilhas de GPU convencionais para a mesma classe de modelo. Os componentes de primeira geração usam armazenamento agressivo de baixo bit misto; a empresa descreve a mudança para formatos flutuantes padrão de 4 bits no HC2 para recuperar margem na qualidade.

ASICs de LLM em inferência

Para desenvolvedores que desejam sentir o que essa classe de vazão implica na prática, a Taalas executa um chatbot demo gratuito, Chat Jimmy, e oferece acesso à API através de um formulário de aplicativo em seu site. É explicitamente uma prova de conceito — não um assistente de fronteira —, mas ilustra um público real que pode preferir um modelo modesto em “velocidade de cognição humana” a um modelo maior que pareça lento ou caro.

Arquitetura de um ASIC de inferência de transformador

Como um chip otimizado para transformador realmente se parece por dentro?

+--------------------------------------+
|         Interface do Host            |
|   (PCIe / CXL / NVLink / Ethernet)   |
+--------------------------------------+
|  Interconexão no Chip (mesh/ring)    |
+--------------------------------------+
|  Tiles / Núcleos de Computação       |
|   — Unidades de multiplicação matricial densa |
|   — ALUs de baixa precisão (int8/int4)   |
|   — Unidades de Desquantização / Ativação    |
+--------------------------------------+
|  SRAM no Chip & Buffers de cache KV   |
|   — Pesos quentes, caches fundidos      |
+--------------------------------------+
|  Pipelines de Quantização / Desquantização |
+--------------------------------------+
|  Agendador / Controlador             |
|   — Motor de execução de grafo estático |
+--------------------------------------+
|  Interface de DRAM / HBM fora do Chip |
+--------------------------------------+

Os principais recursos de arquitetura incluem:

  • Núcleos de computação — Unidades de multiplicação matricial densa otimizadas para operações int8, int4 e ternárias
  • SRAM no chip — Buffers grandes mantêm pesos quentes e caches de KV, minimizando acessos caros à DRAM
  • Interconexões em streaming — A topologia em malha permite escalonamento eficiente entre vários chips
  • Engenhos de quantização — Quantização/desquantização em tempo real entre camadas
  • Pilha de compiladores — Traduz grafos PyTorch/ONNX diretamente em micro-operações específicas do chip
  • Núcleos de atenção conectados fisicamente — Elimina o overhead de fluxo de controle para softmax e outras operações

A filosofia de design espelha os ASICs de Bitcoin: cada transistor serve à carga de trabalho específica. Nenhum silício desperdiçado em recursos que a inferência não precisa.

Benchmarks de GPU versus ASIC para inferência de LLM

Figuras públicas representativas mostram como o hardware de inferência especializado pode se distanciar das pilhas de GPU de propósito geral nas mesmas famílias de modelos (verifique sempre a metodologia e as suposições de lotes para suas próprias cargas de trabalho):

Modelo Hardware Vazão (tokens/s) Tempo até o Primeiro Token Multiplicador de Desempenho
Llama-2-70B NVIDIA H100 (8x DGX) ~80–100 ~1.7s Baseline (1×)
Llama-2-70B Groq LPU 241–300 0.22s 3–18× mais rápido
Llama-3.3-70B Groq LPU ~276 ~0.2s 3× consistente
Gemma-7B Groq LPU 814 <0.1s 5–15× mais rápido
Llama-3.1-8B Taalas HC1 (fornecedor) ~16k–17k decodificação t/s/usuário — Eixo separado (grafo 8B fixo, não 70B)

Fontes: Groq.com, ArtificialAnalysis.ai, NVIDIA Developer Blog; figuras do Taalas HC1 do post de produto da empresa.

As linhas focadas em Groq mostram ganhos grandes em vazão e tempo até o primeiro token em comparação com uma linha de base de GPU de alta ponta em modelos grandes. A linha da Taalas não é outro multiplicador contra essas linhas de 70B; ela ilustra o quão longe a decodificação por usuário pode ser empurrada quando o modelo e o grafo são fixados no silício, ao custo da flexibilidade.

Compromissos ao se especializar o silício de inferência

A especialização compra desempenho, mas reintroduz risco de produto e engenharia:

  1. Flexibilidade vs. Eficiência. Um ASIC totalmente fixo passa voando pelos modelos transformer atuais, mas pode ter dificuldade com as arquiteturas de amanhã. O que acontece quando os mecanismos de atenção evoluem ou novas famílias de modelos surgem? Isso não é hipotético — modelos de espaço de estado, modelos de linguagem de difusão e modelos de mundo JEPA já estão desafiando a dominância do transformer no lado dos modelos; veja o que vem depois dos LLMs para onde essas arquiteturas podem deixar o silício de transformador conectado fisicamente.

  2. Quantização e Precisão. Baixa precisão economiza enormes quantidades de energia, mas gerenciar a degradação da precisão requer esquemas de quantização sofisticados. Nem todos os modelos se quantizam graciosamente para 4 bits ou menos.

  3. Ecossistema de Software. Hardware sem compiladores, kernels e frameworks robustos é inútil. A NVIDIA ainda domina em grande parte devido ao ecossistema maduro da CUDA. Novos fabricantes de chips devem investir pesado em software.

  4. Custo e Risco. O tape-out de um chip custa dezenas de milhões de dólares e leva de 12 a 24 meses. Para startups, esta é uma aposta massiva em suposições arquitetônicas que podem não se sustentar.

Ainda assim, em escala hiperdimensional, mesmo ganhos de eficiência de 2× se traduzem em bilhões em economias. Para provedores de nuvem executando milhões de requisições de inferência por segundo, o silício personalizado é cada vez mais inegociável.

Uma lista de desejos de especificações para um chip de inferência de LLM

Recurso Especificação Ideal
Processo Nó de 3–5nm
SRAM no Chip 100MB+ acoplada fortemente
Precisão Suporte nativo para int8 / int4 / ternário
Vazão 500+ tokens/segundo (modelo 70B)
Latência <100ms tempo até o primeiro token
Interconexão Malha de baixa latência ou links ópticos
Compilador Ferramenta PyTorch/ONNX → microcode
Energia <0.3 joules por token

Olhando para frente (2026–2030)

Espera-se que o cenário de hardware de inferência se estratifique em três camadas grosseiras:

  1. Chips de Treinamento. GPUs de alta ponta como NVIDIA B200 e AMD Instinct MI400 continuarão dominando o treinamento com sua flexibilidade FP16/FP8 e enorme largura de banda de memória.

  2. ASICs de Inferência. Aceleradores de transformador conectados fisicamente e de baixa precisão tratarão da execução de produção em escala hiperdimensional, otimizados para custo e eficiência.

  3. NPUs de Borda. Chips pequenos e ultraeicientes levarão LLMs quantificados a smartphones, veículos, dispositivos IoT e robôs, habilitando inteligência no dispositivo sem dependência da nuvem.

Além do hardware apenas, veremos:

  • Clusters híbridos — GPUs para treinamento flexível, ASICs (ou motores de inferência de escala de wafer) para execução eficiente
  • Inferência como Serviço — Hiperescaladores misturando aceleradores de primeira parte (AWS Inferentia, Google TPU e outros) com GPUs
  • Coprojeto hardware–software — Modelos moldados para esparsidade de blocos, roteamento MoE e camadas amigáveis à quantização
  • Silício por modelo ou por família — Empresas como Taalas apostando que algumas implantações trocarão flexibilidade arquitetural por custo extremo e latência em um grafo conhecido
  • APIs abertas de inferência — Pressão para manter as interfaces de serviço portáveis mesmo quando o silício não é

Pensamentos finais

A “ASIC-ização” da inferência de IA já está em curso. Assim como a mineração de Bitcoin evoluiu de CPUs para silício especializado, a implantação de IA segue o mesmo caminho.

A próxima revolução na IA não será sobre modelos maiores — será sobre chips melhores. O hardware otimizado para os padrões específicos da inferência de transformadores determinará quem pode implantar IA economicamente em escala.

Assim como os mineradores de Bitcoin otimizaram cada watt desperdiçado, o hardware de inferência espremerá cada último FLOP-por-joule. Quando isso acontecer, a verdadeira quebra não estará nos algoritmos — estará no silício que os executa.

O futuro da IA está sendo gravado no silício, um transistor de cada vez.

Para mais benchmarks, escolhas de hardware e ajuste de desempenho, consulte nosso hub Desempenho de LLM: Benchmarks, Gargalos e Otimização.

Subscrever

Receba novos artigos sobre sistemas, infraestrutura e engenharia de IA.