Self-Hosting

저는 Ollama에서 실행되는 GPT-OSS 120b의 성능 테스트 결과를 NVIDIA DGX Spark, Mac Studio, RTX 4080 세 가지 플랫폼에서 확인해보았습니다. Ollama 라이브러리에서 제공하는 GPT-OSS 120b 모델의 크기는 65GB로, RTX 4080의 16GB VRAM에 맞지 않으며, 더 최근의 RTX 5080에도 맞지 않습니다.

Docker Model Runner (DMR)은 2025년 4월에 도입된 Docker의 공식 솔루션으로, 로컬에서 AI 모델을 실행하는 데 사용됩니다. 이 가이드는 모든 필수 명령, 구성 및 최선의 실천 방법을 위한 빠른 참조를 제공합니다.

로컬에서 대규모 언어 모델(LLM) 실행 는 프라이버시, 비용 관리 및 오프라인 기능을 위해 점점 더 인기를 끌고 있습니다. 2025년 4월에 Docker가 Docker Model Runner (DMR), AI 모델 배포를 위한 공식 솔루션을 도입하면서 상황은 크게 변화했습니다.

현대 컴퓨팅 환경에서 가상화는 개발, 테스트, 여러 운영 체제의 실행에 필수적인 요소가 되었습니다. Linux 사용자들이 가상 머신을 관리하는 데 간단하고 직관적인 방법을 원한다면, GNOME Boxes는 기능성을 희생하지 않고 사용 편의성을 중시하는 가벼운 사용자 친화적인 옵션으로 두드러집니다.

Multipass은 Linux, Windows, macOS에서 Ubuntu 클라우드 인스턴스를 쉽게 생성하고 관리할 수 있는 가벼운 가상 머신 관리자입니다.

구글이 전 세계 시장 점유율의 90% 이상을 차지하며 검색 엔진 시장을 지배하고 있지만, 다양한 접근 방식을 제공하는 대체 검색 엔진들이 성장하고 있는 생태계가 존재합니다.

AI의 미래는 단지 더 똑똑한 모델에만 달려 있지 않다. 그것은 더 똑똑한 실리콘에 달려 있다.
LLM 추론을 위한 전용 하드웨어는 비트코인 채굴이 ASIC으로 이동했던 것과 유사한 혁명을 이끌고 있다.

웹은 원래 누구나 출판하고 연결할 수 있는 분산형 네트워크로 설계되었습니다. 시간이 지나면서 기업의 플랫폼이 통제를 집중시켰고, 사용자가 제품이 되고 콘텐츠가 잠금되어 있는 ‘벽돌 정원’을 만들었습니다. 인디 웹 운동은 웹의 원래 약속을 되찾는 것을 목표로 합니다: 개인 소유, 창의적 자유, 진정한 연결.

**NVIDIA DGX Spark**는 실제 제품이며, 2025년 10월 15일에 판매가 시작되며, CUDA 개발자들이 로컬 LLM 작업을 수행하기 위해 통합된 NVIDIA AI 스택이 포함된 제품을 대상으로 합니다. 미국 MSRP는 $3,999이며, 영국/독일/일본의 경우 VAT 및 채널 비용으로 인해 가격이 더 높습니다. AUD/KRW 공식 가격표는 아직 널리 공개되지 않았습니다.

Gemini 프로토콜(Gemini 프로토콜)은 인터넷 커뮤니케이션의 근본 원칙으로 돌아가는 것으로, 점점 복잡해지는 현대 웹의 대안으로 가볍고, 보안이 강하고, 개인정보 보호에 중점을 두고 있습니다.

이 가이드는 사용 가능한 Ollama용 Go SDK에 대한 종합적인 개요를 제공하고, 그들의 기능 세트를 비교합니다.

다음은 Qwen3:30b와 GPT-OSS:20b 사이의 비교입니다. 지시사항 준수 및 성능 파라미터, 사양 및 속도에 초점을 맞추고 있습니다.

다음은 Write.as / WriteFreely에 대한 간단한 정보입니다: fediverse에 어떻게 통합되는지, 관리형 호스팅을 어디서 구할 수 있는지, 사용 트렌드는 어떻게 되는지, 그리고 어떻게 자체 호스팅할 수 있는지(비용 예상 포함).

이 포스트에서는 Python 애플리케이션을 Ollama에 연결하는 방법에 대해 두 가지 방법을 소개합니다: 1. HTTP REST API를 통해; 2. 공식 Ollama Python 라이브러리를 통해.

**Proxmox Virtual Environment (Proxmox VE)**는 Debian 기반으로 만들어진 오픈소스, 타입-1 하이퍼바이저 및 데이터센터 오케스트레이션 플랫폼입니다.

다시 한 번, LLM(대규모 언어 모델)에 특히 적합하고 AI 전반에 일반적으로 적합한 최상위 소비자용 GPU의 가격을 비교해 보겠습니다.
구체적으로 저는
RTX-5080 및 RTX-5090 가격
을 살펴보고 있습니다. 가격이 약간 하락했습니다.