Decodificação Especulativa: Inferência de LLMs 20-50% Mais Rápida
Inferência de LLM mais rápida sem perda de qualidade – um guia prático
Um modelo de 70B gera um token por passagem de frente, e cada passagem recarrega os pesos da VRAM, calcula a atenção através do contexto e sincroniza a memória. Entre os tokens, a GPU fica ociosa enquanto aguarda que as dependências sequenciais sejam resolvidas.