Self-Hosting

Ollama의 웹 검색 API는 로컬 LLM에 실시간 웹 정보를 추가할 수 있게 해줍니다. 이 가이드는 Go에서 웹 검색 기능 구현 방법을 보여줍니다. 간단한 API 호출부터 완전한 기능의 검색 에이전트까지.

2025 년 말, 메모리 시장은 모든 세그먼트에서 램 가격이 급등 하는 전례 없는 가격 변동성을 경험하고 있습니다.

로컬에서 LLM을 실행하는 것은 이제 개발자, 스타트업, 심지어 엔터프라이즈 팀들에게도 현실적인 선택지가 되었습니다. 그러나 올바른 도구, 즉 Ollama, vLLM, LM Studio, LocalAI 또는 기타 도구를 선택하는 것은 목표에 달려 있습니다:

특히 LLM 과 일반적인 AI 에 적합한 최상위 소비자용 GPU 의 가격을 비교해 보겠습니다. 구체적으로는 RTX-5080 과 RTX-5090 가격 에 초점을 맞추고 있습니다.

AI 의 민주화는 이제 현실이 되었습니다. Llama, Mistral, Qwen 과 같은 오픈소스 LLM 이 독점 모델들과 경쟁할 수준에 도달함에 따라, 팀들은 소비자용 하드웨어를 활용한 AI 인프라 구축 을 통해 비용을 절감하면서도 데이터 프라이버시와 배포에 대한 완전한 통제를 유지할 수 있게 되었습니다.

프로메테우스 는 클라우드 네이티브 애플리케이션 및 인프라를 모니터링하는 데 facto 표준이 되었으며, 메트릭 수집, 쿼리, 시각화 도구와의 통합을 제공합니다.

Grafana은 메트릭, 로그, 트레이스를 시각화하여 실행 가능한 통찰을 제공하는 모니터링 및 관찰 플랫폼으로, 시각적으로 인상적인 시각화를 통해 리딩 오픈소스 플랫폼입니다.

Kubernetes StatefulSets은 안정적인 정체성, 지속 가능한 저장소, 순서 있는 배포 패턴이 필요한 상태가 있는 애플리케이션을 관리하는 데 이상적인 솔루션입니다. 데이터베이스, 분산 시스템, 캐싱 레이어와 같은 필수적인 작업에 사용됩니다.

FLUX.1-dev 은 텍스트에서 이미지를 생성하는 강력한 모델로, 놀라운 결과를 제공하지만 24GB 이상의 메모리 요구 사항으로 인해 많은 시스템에서 실행하기 어렵습니다. GGUF quantization of FLUX.1-dev 은 메모리 사용량을 약 50% 줄이며 우수한 이미지 품질을 유지하는 해결책을 제공합니다.

Docker 모델 러너에서 컨텍스트 크기 구성은 예상보다 더 복잡한 경우가 많습니다.

블랙 포레스트 랩스는 텍스트 지시문을 사용하여 기존 이미지를 향상시키는 고급 이미지에서 이미지로 생성하는 AI 모델인 FLUX.1-Kontext-dev를 출시했습니다.

Docker Model Runner은 AI 모델을 로컬에서 실행하는 Docker의 공식 도구이지만,
Docker Model Runner에서 NVidia GPU 가속 기능 활성화
은 특정 설정이 필요합니다.

올바른 헤드리스 CMS를 선택하는 것은 콘텐츠 관리 전략을 성공적으로 만들거나 망하게 만들 수 있습니다.
개발자가 콘텐츠 중심 애플리케이션을 구축하는 방식에 영향을 미치는 세 가지 오픈소스 솔루션을 비교해 보겠습니다.

Immich는 사진 및 영상 관리에 대한 완전한 제어권을 제공하는 혁신적인 오픈소스, 자체 호스팅 솔루션입니다. 구글 포토와 경쟁할 수 있는 기능을 갖추고 있으며, AI 기반 얼굴 인식, 스마트 검색, 자동 모바일 백업을 포함하여 데이터를 개인 서버에서 안전하게 보호합니다.

Elasticsearch 은 Apache Lucene 를 기반으로 구축된 강력한 분산 검색 및 분석 엔진입니다. 이 종합적인 치트시트는 Elasticsearch 클러스터 작업을 위한 필수 명령어, 모범 사례 및 빠른 참고 자료를 다룹니다.

저는 Ollama에서 실행되는 GPT-OSS 120b의 성능 테스트 결과를 NVIDIA DGX Spark, Mac Studio, RTX 4080 세 가지 플랫폼에서 확인해보았습니다. Ollama 라이브러리에서 제공하는 GPT-OSS 120b 모델의 크기는 65GB로, RTX 4080의 16GB VRAM에 맞지 않으며, 더 최근의 RTX 5080에도 맞지 않습니다.