Llamacpp on Rost Glukhov | Site pessoal e blog técnico

llama.cpp vs Ollama em 2026: Qual runtime você deve usar?

Fri, 11 Sep 2026 00:00:00 +0000

Ollama e llama.cpp são frequentemente comparados como se fossem motores de inferência rivais. A escolha real está entre um serviço de modelos gerenciado e um toolkit que você opera diretamente.

ROCm vs Vulkan para Hospedagem Local de LLMs da AMD: Guia 2026

Wed, 09 Sep 2026 00:00:00 +0000

Tanto o ROCm quanto o Vulkan aceleram GPUs AMD para a hospedagem local de LLMs, mas eles não são intercambiáveis. A escolha certa depende do motor, da GPU e da carga de trabalho.

KV Cache em GPUs de 16 GB: Tornando o Contexto Longo Realmente Viável

Tue, 08 Sep 2026 00:00:00 +0000

Um modelo pode anunciar uma janela de contexto de 128K e ainda assim falhar com 40K tokens em uma GPU de 16 GB. O limite arquitetural nunca prometeu que pesos, cache de KV, buffers de computação e o compositor do ambiente gráfico caberiam no seu cartão ao mesmo tempo.