Por que a contextualização de 128K falha em 16 GB
Um modelo pode anunciar uma janela de contexto de 128K e ainda assim falhar com 40K tokens em uma GPU de 16 GB. O limite arquitetural nunca prometeu que pesos, cache de KV, buffers de computação e o compositor do ambiente gráfico caberiam no seu cartão ao mesmo tempo.
Inferência de LLM mais rápida sem perda de qualidade – um guia prático
Um modelo de 70B gera um token por passagem de frente, e cada passagem recarrega os pesos da VRAM, calcula a atenção através do contexto e sincroniza a memória. Entre os tokens, a GPU fica ociosa enquanto aguarda que as dependências sequenciais sejam resolvidas.
MTP versus decodificação padrão na RTX 4080 — benchmarks reais
Testei o desempenho da Decodificação Especulativa (Previsão de Múltiplos Tokens, MTP) nos modelos Qwen 3.6 27B e 35B em uma RTX 4080 com 16 GB de VRAM.
Pare de interpretar vibes. Valide contratos.
A maioria dos tutoriais sobre “saída estruturada” de LLMs é superficial. Eles ensinam você a pedir JSON educadamente e depois torcer para que o modelo se comporte. Isso não é validação. Isso é otimismo com chaves.
Referência para ajuste de LLMs agênticos
Esta página é uma referência prática para ajuste de inferência de LLMs agênicos (temperatura, top_p, top_k, penalidades e como elas interagem em fluxos de trabalho multi-step e com uso intenso de ferramentas).
Velocidade de processamento de tokens do llama.cpp em 16 GB de VRAM (tabelas).
Aqui estou eu comparando a velocidade de vários LLMs executados em GPU com 16GB de VRAM, e escolhendo o melhor para auto-hospedagem.
Teste de velocidade de LLM em RTX 4080 com 16 GB de VRAM
Executar grandes modelos de linguagem localmente oferece privacidade, capacidade de funcionamento offline e zero custos de API. Este benchmark revela exatamente o que se pode esperar de 14 populares LLMs no Ollama em uma RTX 4080.
Saídas de LLM com segurança de tipo usando BAML e Instructor
Ao trabalhar com Modelos de Linguagem Grande (LLMs) em produção, obter saídas estruturadas e com segurança de tipos é fundamental. Dois frameworks populares — BAML e Instructor — adotam abordagens diferentes para resolver este problema.
Benchmarks do GPT-OSS 120b em três plataformas de IA
Descobri alguns testes de desempenho interessantes do GPT-OSS 120b rodando no Ollama em três plataformas diferentes: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama pesa 65 GB, o que significa que ele não cabe na VRAM de 16 GB de uma RTX 4080 (ou na mais recente RTX 5080).
ASICs e silício personalizado impulsionam a velocidade e a eficiência da inferência de LLMs
O futuro da IA não se trata apenas de modelos mais inteligentes. Trata-se também de silício que corresponda à maneira como esses modelos são realmente servidos. O hardware especializado para inferência de LLM segue um caminho reminiscente da transição do mineração de Bitcoin de GPUs para ASICs de propósito específico, mas com restrições mais difíceis, pois os modelos e as receitas de precisão continuam a evoluir.
Comparando velocidade, parâmetros e desempenho desses dois modelos
Aqui está uma comparação entre Qwen3:30b e GPT-OSS:20b, com foco na capacidade de seguir instruções e nos parâmetros de desempenho, especificações e velocidade.
Não é muito agradável.
Os modelos GPT-OSS da Ollama apresentam problemas recorrentes no manuseio de saída estruturada, especialmente quando utilizados com frameworks como LangChain, SDK da OpenAI, vllm e outros.
APIs ligeiramente diferentes exigem uma abordagem especial.
Aqui está uma comparação lado a lado do suporte a saída estruturada (obter JSON confiável) entre os principais provedores de LLM, com exemplos mínimos em Python
Meu próprio teste de agendamento de modelos Ollama
Aqui estou comparando quanto VRAM a nova versão do Ollama alocava para o modelo em relação à versão anterior do Ollama. A nova versão é pior.
Pensando em instalar uma segunda GPU para LLMs?
Como as Pistas PCIe Afetam o Desempenho de LLM? Depende da tarefa. Para treinamento e inferência multi-GPU, a queda de desempenho é significativa.
