Desempenho de LLM em 2026: Benchmarks, Gargalos e Otimização
Desempenho de LLM não se resume apenas a ter uma GPU poderosa. A velocidade de inferência, a latência e a eficiência de custos dependem de restrições em toda a pilha:
- Tamanho do modelo e quantização
- Capacidade de VRAM e largura de banda de memória
- Comprimento do contexto e tamanho do prompt
- Agendamento em tempo de execução e agrupamento (batching)
- Utilização de núcleos da CPU
- Topologia do sistema (lanes PCIe, NUMA, etc.)
Este hub organiza mergulhos profundos sobre como os grandes modelos de linguagem se comportam sob cargas reais de trabalho — e como otimizá-los.
O Que o Desempenho de LLM Realmente Significa
O desempenho é multidimensional.
Vazão (Throughput) vs Latência
- Vazão = tokens por segundo em muitos pedidos
- Latência = tempo até o primeiro token + tempo total de resposta
A maioria dos sistemas reais deve equilibrar ambos.
A Ordem das Restrições
Na prática, os gargalos geralmente aparecem nesta ordem:
- Capacidade de VRAM
- Largura de banda de memória
- Agendamento em tempo de execução
- Tamanho da janela de contexto
- Sobrecarga da CPU
Entender qual restrição você está enfrentando é mais importante do que “atualizar o hardware”.
Desempenho do Tempo de Execução do Ollama
O Ollama é amplamente utilizado para inferência local. Seu comportamento sob carga é crítico de entender.
Agendamento de Núcleos da CPU
Tratamento de Pedidos Paralelos
Comportamento de Alocação de Memória
Problemas de Tempo de Execução de Saída Estruturada
Restrições de Hardware que Importam
Nem todos os problemas de desempenho são problemas de computação de GPU.
Efeitos de PCIe e Topologia
Tendências de Computação Especializada
Benchmarks e Comparações de Modelos
Benchmarks devem responder a uma questão decisória.
Comparações de Plataformas de Hardware
Testes Reais com VRAM de 16 GB
GPUs de consumo com 16 GB de VRAM são um ponto de ruptura comum para o ajuste do modelo, o tamanho do cache KV e se as camadas permanecem no dispositivo. Os posts abaixo situam-se na mesma classe de hardware, mas com pilhas diferentes — o tempo de execução do Ollama versus llama.cpp com varreduras de contexto explícitas — para que você possa separar os efeitos de “agendador e embalagem” da vazão bruta e da margem de VRAM.
- Escolhendo o Melhor LLM para Ollama em GPU com 16 GB de VRAM
- Benchmarks de LLM com 16 GB de VRAM usando llama.cpp (velocidade e contexto)
Benchmarks de Velocidade e Qualidade do Modelo
- Qwen3 30B vs GPT-OSS 20B
- Gemma2 vs Qwen2 vs Mistral Nemo 12B
- Mistral Small vs Gemma2 vs Qwen2.5 vs Mistral Nemo “Mistral Small vs Gemma2 vs Qwen2.5 vs Mistral Nemo”)
Testes de Estresse de Capacidade
Guia de Otimização
O ajuste de desempenho deve ser incremental.
Passo 1 — Fazer Cabeçar
- Reduzir o tamanho do modelo
- Usar quantização
- Limitar a janela de contexto
Passo 2 — Estabilizar a Latência
- Reduzir o custo de preenchimento (prefill)
- Evitar retentativas desnecessárias
- Validar saídas estruturadas cedo
Passo 3 — Melhorar a Vazão
- Aumentar o agrupamento (batching)
- Ajustar a concorrência
- Usar tempos de execução focados em serviço quando necessário
Se o seu gargalo for estratégia de hospedagem em vez de comportamento em tempo de execução, veja:
Perguntas Frequentes
Por que meu LLM é lento mesmo em uma GPU potente?
Muitas vezes é a largura de banda de memória, o comprimento do contexto ou o agendamento em tempo de execução — não a computação bruta.
O que importa mais: tamanho de VRAM ou modelo de GPU?
A capacidade de VRAM é geralmente a primeira restrição rígida. Se não couber, nada mais importa.
Por que o desempenho cai sob concorrência?
Filas de espera, contenção de recursos e limites do agendador causam curvas de degradação.
Considerações Finais
O desempenho de LLM é engenharia, não palpite.
Meça deliberadamente.
Entenda as restrições.
Otimize com base em gargalos, não em suposições.
