https://www.glukhov.org/ko/tags/llamacpp/ Recent content in Llamacpp on Rost Glukhov | 개인 사이트 및 기술 블로그 Hugo ko Fri, 11 Sep 2026 18:13:46 +1000 https://www.glukhov.org/ko/llm-hosting/comparisons/llama-cpp-vs-ollama/ Fri, 11 Sep 2026 00:00:00 +0000 https://www.glukhov.org/ko/llm-hosting/comparisons/llama-cpp-vs-ollama/ <p>Ollama와 llama.cpp는 종종 경쟁하는 추론 엔진으로 비교되곤 합니다. 실제 선택은 관리형 모델 서비스와 직접 운영하는 툴킷 사이의 결정에 가깝습니다.</p> https://www.glukhov.org/ko/llm-hosting/comparisons/amd-rocm-vs-vulkan-llm-hosting/ Wed, 09 Sep 2026 00:00:00 +0000 https://www.glukhov.org/ko/llm-hosting/comparisons/amd-rocm-vs-vulkan-llm-hosting/ <p>ROCm과 Vulkan은 모두 로컬 LLM 호스팅을 위해 AMD GPU를 가속화하지만, 서로 대체재가 될 수 없습니다. 올바른 선택은 엔진, GPU, 그리고 워크로드에 따라 달라집니다.</p> https://www.glukhov.org/ko/llm-performance/optimization/kv-cache-16gb-long-context/ Tue, 08 Sep 2026 00:00:00 +0000 https://www.glukhov.org/ko/llm-performance/optimization/kv-cache-16gb-long-context/ <p>모델은 128K 컨텍스트 윈도우를 광고하면서도 16 GB GPU에서 40K 토큰에서 실패할 수 있습니다. 아키텍처 상한은 웨이트, KV 캐시, 컴퓨트 버퍼, 데스크톱 컴포지터가 모두 동시에 해당 카드에 들어맞겠다는 약속을 한 적이 없습니다.</p>