https://www.glukhov.org/it/tags/llamacpp/ Recent content in Llamacpp on Rost Glukhov | Sito personale e blog tecnico Hugo it Tue, 08 Sep 2026 20:10:42 +1000 https://www.glukhov.org/it/llm-performance/optimization/kv-cache-16gb-long-context/ Tue, 08 Sep 2026 00:00:00 +0000 https://www.glukhov.org/it/llm-performance/optimization/kv-cache-16gb-long-context/ <p>Un modello può pubblicizzare una finestra di contesto da 128K e comunque fallire a 40K token su una GPU da 16 GB. Il limite architetturale non ha mai garantito che i pesi, la cache KV, i buffer di calcolo e il compositore del desktop potessero stare sulla tua scheda contemporaneamente.</p>