Hardware

Docker Model Runner은 AI 모델을 로컬에서 실행하는 Docker의 공식 도구이지만,
Docker Model Runner에서 NVidia GPU 가속 기능 활성화
은 특정 설정이 필요합니다.

저는 Ollama에서 실행되는 GPT-OSS 120b의 성능 테스트 결과를 NVIDIA DGX Spark, Mac Studio, RTX 4080 세 가지 플랫폼에서 확인해보았습니다. Ollama 라이브러리에서 제공하는 GPT-OSS 120b 모델의 크기는 65GB로, RTX 4080의 16GB VRAM에 맞지 않으며, 더 최근의 RTX 5080에도 맞지 않습니다.

Docker Model Runner (DMR)은 2025년 4월에 도입된 Docker의 공식 솔루션으로, 로컬에서 AI 모델을 실행하는 데 사용됩니다. 이 가이드는 모든 필수 명령, 구성 및 최선의 실천 방법을 위한 빠른 참조를 제공합니다.

현대 컴퓨팅 환경에서 가상화는 개발, 테스트, 여러 운영 체제의 실행에 필수적인 요소가 되었습니다. Linux 사용자들이 가상 머신을 관리하는 데 간단하고 직관적인 방법을 원한다면, GNOME Boxes는 기능성을 희생하지 않고 사용 편의성을 중시하는 가벼운 사용자 친화적인 옵션으로 두드러집니다.

미래의 AI 는 단순히 더 똑똑한 모델 에 관한 것이 아닙니다. 또한 이러한 모델이 실제로 서비스되는 방식에 맞는 실리콘 (반도체) 에 관한 것입니다. LLM 추론 을 위한 전용 하드웨어는 Bitcoin 채굴에서 GPU 에서 목적-built ASIC 으로 이동하는 경로를 따르고 있지만, 모델과 정밀도 레시피가 계속 진화하기 때문에 더 엄격한 제약 조건을 가지고 있습니다.

NVIDIA DGX Spark 는 실존하며, 2025 년 10 월 15 일에 출시되어 통합 NVIDIA AI 스택을 갖춘 로컬 LLM 작업이 필요한 CUDA 개발자를 대상으로 합니다. 미국 권장 소매가 (MSRP) 는 3,999 달러이며, 영국/독일/일본의 소매가는 부가가치세 (VAT) 와 유통 채널 비용으로 인해 더 높습니다. 호주/한국의 공개 스티커 가격은 아직 널리 발표되지 않았습니다.

LLM 을 비롯한 AI 작업에 적합한 최상위 소비자용 GPU 의 가격을 비교해 보겠습니다. 특히 RTX-5080 과 RTX-5090 가격 에 주목합니다. 가격이 약간 하락했습니다.

GPU 로드 모니터링 애플리케이션: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia 가 곧 NVIDIA DGX Spark를 출시합니다. 128GB 이상의 통합 RAM 과 1 PFLOPS AI 성능을 갖춘 블랙웰 (Blackwell) 아키텍처 기반의 소형 AI 슈퍼컴퓨터입니다. LLM 을 실행하기에 훌륭한 기기입니다.

2026 년의 컴퓨팅 하드웨어, 특히 LLM 과 AI 전반에 적합한 최상위 소비자용 GPU 의 가격을 비교해 보겠습니다. 구체적으로는 RTX 5080 과 RTX 5090 가격 을 살펴보세요. 가격이 약간 하락했습니다.

3 개월 전까지만 해도 상점에서 RTX 5090 을 찾아볼 수 없었는데, 이제는 등장했지만 가격은 권장 소비자 가격 (MRSP) 보다 약간 높은 편입니다. 가장 저렴한 호주 내 RTX 5080 과 RTX 5090 가격 을 비교해보고 상황이 어떻게 변했는지 확인해 보겠습니다.

참고로 2025 년 7 월 호주 내 RTX 5080 과 RTX 5090 가격, 2025 년 10 월, 그리고 2025 년 11 월 자료도 함께 참고해 보세요.

위대한 업무를 위한 최상의 자동화 시스템.

PCIe 랜의 수가 LLM 성능에 미치는 영향? 작업에 따라 다릅니다. 훈련 및 멀티 GPU 추론의 경우 성능 저하가 상당합니다.

이 문제로 인해 큰 충격을 받았습니다. 하지만 BSOD가 제게와 비슷한 경우라면, 자신의 PC를 조사하고 테스트해 보는 것이 좋습니다. 원인은 인텔 13세대 및 14세대 CPU의 성능 저하 문제입니다.

제가 테스트하고 싶은 이론은, 인텔 CPU에서 모든 코어를 사용하면 LLM의 속도가 빨라질까?입니다.
새로운 gemma3 27비트 모델(gemma3:27b, ollama에서 17GB)이 제 GPU의 16GB VRAM에 맞지 않아, 부분적으로 CPU에서 실행되고 있다는 점이 제게 짜증을 주고 있습니다.

현대 세계의 혼란 속에서 저는 AI 작업(딥러닝, 객체 탐지 및 LLM)에 적합한 다양한 그래픽 카드의 사양을 비교하고 있습니다. 하지만 이 카드들은 모두 가격이 매우 비쌉니다.