DevOps

llama.cpp 라우터 모드는 수년 동안 llama-server에 도입된 변화 중 가장 유용한 변화 중 하나입니다. 이는 로컬 LLM 운영자에게 Ollama에서 기대하는 모델 관리 경험에 가까운 기능을 제공하면서도, llama.cpp를 처음부터 사용하게 만드는 원시 성능과 저레벨 제어를 그대로 유지합니다.

Hermes Agent에는 Kanban 스타일 보드와, 한 번에 너무 많은 작업이 전달될 경우 자체 호스팅 LLM을 포화 상태로 만들 수 있는 Hermes Gateway가 함께 제공됩니다.

MinIO Community Edition는 더 이상 새로운 프로덕션 시스템의 안전한 기본 옵션이 아닙니다.

llama.cpp는 오랫동안 치명적인 한계점을 가지고 있었습니다. 바로 프로세스당 하나의 모델만 서빙할 수 있었고, 모델 전환을 하려면 프로세스를 재시작해야 했기 때문입니다.

이 기사는 OpenClaw 플러그인에 대해 다룹니다. OpenClaw 플러그인은 채널, 모델 제공자, 도구, 음성, 메모리, 미디어, 웹 검색 및 기타 런타임 표면을 추가하는 네이티브 게이트웨이 패키지입니다.

Hermes Agent는 로컬 머신 또는 저가형 VPS에서 실행되는 셀프 호스팅, 모델 독립형 AI 어시스턴트입니다. 터미널 및 메신저 인터페이스를 통해 작동하며, 반복적인 작업을 재사용 가능한 스킬로 변환함으로써 시간이 지남에 따라 성능을 향상시킵니다.

Ollama 는 로컬 데몬 (daemon) 으로 취급될 때 가장 행복해합니다: CLI 와 애플리케이션이 루프백 HTTP API 와 통신하며, 나머지 네트워크는 Ollama 의 존재를 전혀 알지 못합니다.

Ollama는 베어 메탈(bare metal) 환경에서도 훌륭하게 작동합니다. 서비스처럼 다룰 때 더 재미가 생깁니다: 안정적인 엔드포인트, 고정된 버전, 영속적 저장소, 그리고 사용 가능하거나 불가능한 GPU.

리버스 프록시 뒤에 Ollama 를 실행하는 것은 HTTPS, 선택적 접근 제어, 예측 가능한 스트리밍 동작을 얻는 가장 간단한 방법입니다.

Apache Flink 는 유계 및 무계 데이터 스트림에 대한 상태 기반 연산을 위한 프레임워크입니다.

Neo4j 는 관계가 곧 데이터일 때 찾아야 할 솔루션입니다. 도메인이 원과 화살표로 가득 찬 화이트보드처럼 보인다면, 이를 테이블로 강제하는 것은 고통스럽습니다.

정적 사이트와 블로그는 배포할 때마다 변경됩니다. IndexNow를 지원하는 검색 엔진 은 다음 맹목적 크롤링을 기다리지 않고도 이러한 변경 사항을 학습할 수 있습니다.

SGLang 은 단일 GPU 에서 분산 클러스터에 이르기까지 저지연 및 고휘도 추론을 제공하도록 설계된 대규모 언어 모델 및 멀티모달 모델용 고성능 서비스 프레임워크입니다.

Apache Kafka 4.2.0가 현재 지원되는 릴리스 라인이며, Kafka 4.x는 기본적으로 완전히 ZooKeeper를 필요로 하지 않고 KRaft를 기반으로 구축되어 있어 현대적인 빠른 시작(Quickstart)에 가장 적합한 기준점입니다.

가까운 미래에는 vLLM, llama.cpp 등 다양한 스택을 여러 포트에서 동시에 관리하게 될 것입니다. 하지만 다운스트림의 모든 시스템은 여전히 단일 /v1 기반 URL을 요구합니다. 그렇지 않으면 포트, 프로필, 일회용 스크립트를 계속 치환하는 수고스러운 일이 반복됩니다. llama-swap은 이러한 스택 앞단에 배치되는 /v1 프록시입니다.

소프트웨어 개발에는 버전 관리용 Git, 컨테이너화용 Docker, 자동화용 bash, 데이터베이스용 PostgreSQL, 편집용 VS Code와 생산성을 좌우하는 수많은 다른 도구들이 필요합니다. 이 페이지는 전체 개발 스택에서 효율적으로 작업하는 데 필요한 핵심 치트시트, 워크플로우 및 비교 자료를 모았습니다.