2026년, llama.cpp vs Ollama: 어떤 런타임을 선택해야 할까요?
“llama-server가 Ollama를 능가할 때”
Ollama와 llama.cpp는 종종 경쟁하는 추론 엔진으로 비교되곤 합니다. 실제 선택은 관리형 모델 서비스와 직접 운영하는 툴킷 사이의 결정에 가깝습니다.
“llama-server가 Ollama를 능가할 때”
Ollama와 llama.cpp는 종종 경쟁하는 추론 엔진으로 비교되곤 합니다. 실제 선택은 관리형 모델 서비스와 직접 운영하는 툴킷 사이의 결정에 가깝습니다.
엔진별로 적합한 AMD 백엔드 선택
ROCm과 Vulkan은 모두 로컬 LLM 호스팅을 위해 AMD GPU를 가속화하지만, 서로 대체재가 될 수 없습니다. 올바른 선택은 엔진, GPU, 그리고 워크로드에 따라 달라집니다.
16GB에서 128K 컨텍스트가 실패하는 이유
모델은 128K 컨텍스트 윈도우를 광고하면서도 16 GB GPU에서 40K 토큰에서 실패할 수 있습니다. 아키텍처 상한은 웨이트, KV 캐시, 컴퓨트 버퍼, 데스크톱 컴포지터가 모두 동시에 해당 카드에 들어맞겠다는 약속을 한 적이 없습니다.
LLM 이후의 시대: 트랜스포머 이후
AI 열풍에는 일정한 리듬이 있다: 대략 3년마다, 모두가 베팅하고 있는 아키텍처가 더 새로운 것으로 대체된다. 다음 전환은 이미 연구실에서 형성되고 있다.
스킬, MCP 서버, 아니면 둘 다?
에이전트 스킬과 MCP 서버는 종종 AI 에이전트를 확장하는 경쟁적인 방식들로 제시됩니다. 그러나 이 프레임은 틀렸습니다: 스킬은 에이전트가 어떻게 작업해야 하는지를 가르치고, MCP 서버는 라이브 기능에 대한 거버넌스된 접근을 제공합니다.
명령줄에서 OpenCode를 실제로 사용해 보기
OpenCode의 커맨드 라인 인터페이스(CLI)는 스크립팅, CI 파이프라인, 그리고 무인 에이전트 실행을 위해 설계되었습니다. 이 글은 일상 업무에서 CLI를 활용하는 실무 가이드입니다.
1개의 명령어로 설치되는 강제 SDD 스킬.
Superpowers는 전체 스펙 주도(Spec-driven) 방법론을 설치 가능한 Claude Skills로 패키징하여, 브레인스토밍, 계획 수립, 서브에이전트 기반 구현, 그리고 엄격한 TDD를 강제합니다. 이러한 구조를 사용자가 스스로 결정하도록 맡기지 않습니다.
사용자가 직접 형태를 만들어야 하는 작은 코딩 에이전트
Pi Coding Agent는 기본 도구 4개를 갖추고 있으며, 대부분의 동작을 확장, 스킬 및 사용자 자체 워크플로에 맡기는 최소한의 오픈소스 터미널 코딩 하네스입니다.
안전히 작동하는 Markdown 기능을 파악하세요
마르다운은 GitHub, Hugo, Obsidian, Pandoc 등에서 동일한 파일이 다르게 렌더링될 때까지 하나의 언어처럼 보입니다. 그리고 문제는 마르다운이 신뢰할 수 없다는 데에 있지 않습니다.
왜 당신의 AI 스택은 매월 더 끈적해지나요?
모든 API 호출은 단순한 트랜잭션처럼 느껴집니다. 하지만 그 호출들이 누적되면, 파인튜닝 데이터, 평가 시스템, 그리고 도메인 스키마가 모두 특정 벤더에 맞춰지게 되며, 이때부터 플랫폼 전환은 단순한 라우팅 변경을 넘어선다는 것을 깨닫게 됩니다.
소음이 발생하는 작업은 위임하고, 컨텍스트는 깨끗하게 유지하세요.
대부분의 Claude Code 세션이 느려지고 지저분해지는 이유는 동일합니다. 탐색적인 grep 실행, 로그 덤프, 그리고 “하나 더 확인해 보자"는 식의 파일 확인 작업들이 모두 메인 대화 창에 영구적으로 남기 때문입니다.
Ollama에서 vLLM으로 전환해야 하는 시점
Ollama는 로컬 언어 모델을 실행하는 가장 간편한 방법 중 하나이지만, 편리함은 로컬 실험이 더 나은 스케줄링과 관측 가능성이 필요한 공유 추론 서비스로 전환되는 순간을 가릴 수 있습니다.
AI 에이전트가 요구사항, 테스트 및 코드에서 벗어나는 것을 막으세요.
AI 코딩 에이전트는 기능을 빠르게 출시하지만, 명세서(specs), 테스트, 그리고 코드는 조용히 서로 다른 방향으로 이동(drift)합니다. 이 가이드는 추적 가능성(traceability) 모델, 명세서-테스트 및 명세서-코드 매핑, 그리고 병합 전에 이러한 드리프트를 포착하는 CI(CI) 검사를 다룹니다.
메시지가 큐를 차단하지 않도록 방지하세요
데드 레터 큐(DLQ)는 소비자가 처리할 수 없는 메시지를 포착하는 안전망입니다. 이를 통해 한 가지 잘못된 페이로드가 큐에 있는 나머지 메시지들을 차단하거나 묵과하게 되는 것을 방지합니다.
컴파일된 지식의 신뢰성을 유지하세요
LLM 위키(Wiki)는 오래된 사실이 여전히 그럴듯해 보일 때, 모순이 정교하게 다듬어질 때, 그리고 생성된 요약이 원천 자료에서 벗어나면 실패합니다.
로컬 지식용 프라이빗 동기화
Syncthing은 사용자가 제어하는 여러 기기 간에 파일을 동기화하며, 클라우드 종속을 피하는 자체 호스팅 지식 인프라를 구축하는 데 가장 실용적인 도구 중 하나입니다.
시스템, 인프라, AI 엔지니어링에 관한 새 글을 받아보세요.