Docker

자체 호스팅 AI 에이전트는 긴 컨텍스트 윈도우만으로는 충분하지 않습니다. 유용한 사실을 보존하고, 이전 결정을 검색하며, 프로젝트가 발전함에 따라 자신이 알고 있다고 생각하는 것을 재수정할 수 있는 방식이 필요합니다.

ROCm과 Vulkan은 모두 로컬 LLM 호스팅을 위해 AMD GPU를 가속화하지만, 서로 대체재가 될 수 없습니다. 올바른 선택은 엔진, GPU, 그리고 워크로드에 따라 달라집니다.

Ollama는 로컬 언어 모델을 실행하는 가장 간편한 방법 중 하나이지만, 편리함은 로컬 실험이 더 나은 스케줄링과 관측 가능성이 필요한 공유 추론 서비스로 전환되는 순간을 가릴 수 있습니다.

Docker Compose와 Podman Quadlet은 겹치는 문제를 해결하지만 서로 다른 설계 관점에서 출발했으며, 이 중 무엇을 선택할지는 애플리케이션 스택으로 사고하는지 아니면 리눅스 서비스로 사고하는지에 따라 달라집니다.

리눅스 서버에서 Docker Compose는 부팅 시 시작되고, 종료 시 깨끗하게 멈춰야 하며, 수동 개입 없이 재부팅을 견뎌야 합니다.

Ubuntu에 Docker를 설치하는 것은 간단해 보이지만, 실제로는 동일한 명령어 이름을 놓고 경쟁하는 여러 Docker 관련 옵션들이 존재합니다. 각 옵션은 패키징, 업그레이드 동작, 보안 영향 측면에서 차이가 있습니다.

Vane은 “인용과 함께 하는 AI 검색” 분야에서 가장 실용적인 선택지 중 하나입니다. 이는 라이브 웹 검색과 로컬 또는 클라우드 LLM을 결합하는 자체 호스팅형 답변 엔진으로, 전체 스택을 사용자의 통제 아래에 두는 것이 특징입니다.

Hermes Agent는 로컬 머신 또는 저가형 VPS에서 실행되는 셀프 호스팅, 모델 독립형 AI 어시스턴트입니다. 터미널 및 메신저 인터페이스를 통해 작동하며, 반복적인 작업을 재사용 가능한 스킬로 변환함으로써 시간이 지남에 따라 성능을 향상시킵니다.

Text Generation Inference(TGI) 는 매우 특유의 에너지를 지니고 있습니다. 추론 분야에서 가장 새로운 기술은 아니지만, 이미 프로덕션 환경에서 발생하는 문제를 잘 이해하고 있습니다.

Ollama는 베어 메탈(bare metal) 환경에서도 훌륭하게 작동합니다. 서비스처럼 다룰 때 더 재미가 생깁니다: 안정적인 엔드포인트, 고정된 버전, 영속적 저장소, 그리고 사용 가능하거나 불가능한 GPU.

Neo4j 는 관계가 곧 데이터일 때 찾아야 할 솔루션입니다. 도메인이 원과 화살표로 가득 찬 화이트보드처럼 보인다면, 이를 테이블로 강제하는 것은 고통스럽습니다.

SGLang 은 단일 GPU 에서 분산 클러스터에 이르기까지 저지연 및 고휘도 추론을 제공하도록 설계된 대규모 언어 모델 및 멀티모달 모델용 고성능 서비스 프레임워크입니다.

Apache Kafka 4.2.0가 현재 지원되는 릴리스 라인이며, Kafka 4.x는 기본적으로 완전히 ZooKeeper를 필요로 하지 않고 KRaft를 기반으로 구축되어 있어 현대적인 빠른 시작(Quickstart)에 가장 적합한 기준점입니다.

가까운 미래에는 vLLM, llama.cpp 등 다양한 스택을 여러 포트에서 동시에 관리하게 될 것입니다. 하지만 다운스트림의 모든 시스템은 여전히 단일 /v1 기반 URL을 요구합니다. 그렇지 않으면 포트, 프로필, 일회용 스크립트를 계속 치환하는 수고스러운 일이 반복됩니다. llama-swap은 이러한 스택 앞단에 배치되는 /v1 프록시입니다.

소프트웨어 개발에는 버전 관리용 Git, 컨테이너화용 Docker, 자동화용 bash, 데이터베이스용 PostgreSQL, 편집용 VS Code와 생산성을 좌우하는 수많은 다른 도구들이 필요합니다. 이 페이지는 전체 개발 스택에서 효율적으로 작업하는 데 필요한 핵심 치트시트, 워크플로우 및 비교 자료를 모았습니다.

OpenHands는 샌드박스 내에서 파일을 편집하고 명령을 실행하는 오픈소스 코딩 에이전트입니다. 이 CLI 퀵스타트는 2026년 10월 26일에 패키지 1.16.0 버전으로 검증되었습니다.