Llamacpp on Rost Glukhov | Strona osobista i blog techniczny

llama.cpp a Ollama w 2026 r.: który runtime powinien wybrać?

Fri, 11 Sep 2026 00:00:00 +0000

Ollama i llama.cpp są często porównywane tak, jakby były rywalizującymi silnikami inferencji. Rzeczywisty wybór polega na decyzji między zarządzaną usługą modeli a zestawem narzędzi, który obsługujesz bezpośrednio.

ROCm vs Vulkan dla lokalnego uruchamiania LLM na kartach AMD: przewodnik na 2026 rok

Wed, 09 Sep 2026 00:00:00 +0000

ROCm i Vulkan przyspieszają GPU AMD do hostowania lokalnych modeli LLM, ale nie są zamiennymi. Prawidłowy wybór zależy od silnika, GPU i obciążenia.

KV Cache na GPU z 16 GB pamięci: jak realnie zmieścić długi kontekst

Tue, 08 Sep 2026 00:00:00 +0000

Model może reklamować okno kontekstowe 128K i mimo to zawiedzie przy 40K tokenach na karcie GPU 16 GB. Architektoniczny limit nigdy nie gwarantował, że wagi, cache KV, bufora obliczeniowe i kompozytor pulpitu zmieszczą się jednocześnie na Twojej karcie.