VLLM

Tanto o ROCm quanto o Vulkan aceleram GPUs AMD para a hospedagem local de LLMs, mas eles não são intercambiáveis. A escolha certa depende do motor, da GPU e da carga de trabalho.

Um modelo pode anunciar uma janela de contexto de 128K e ainda assim falhar com 40K tokens em uma GPU de 16 GB. O limite arquitetural nunca prometeu que pesos, cache de KV, buffers de computação e o compositor do ambiente gráfico caberiam no seu cartão ao mesmo tempo.

Ollama é uma das formas mais simples de executar um modelo de linguagem local, mas a conveniência pode mascarar o momento em que um experimento local se torna um serviço de inferência compartilhado que necessita de melhor agendamento e observabilidade.

A inferência de LLM parece ser “apenas outra API” — até que a latência dispare, as filas se acumulem e suas GPUs fiquem com 95% de memória sem uma explicação óbvia.

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.

vLLM é um motor de inferência e serviço de alto rendimento e eficiente em memória para Modelos de Linguagem Grandes (LLMs), desenvolvido pelo Laboratório Sky Computing da UC Berkeley.

Executar LLMs localmente é agora viável para desenvolvedores, startups e até mesmo equipes de empresas.
Mas escolher a ferramenta certa — Ollama, vLLM, LM Studio, LocalAI ou outras — depende dos seus objetivos: