Ubuntu에서 Ollama 모델 저장 위치는 어디인가요?

/usr/share/ollama/.ollama/models

Windows에서 Ollama 모델 위치는 어디인가요?

C:\Users%username%.ollama\models

Ollama는 Ubuntu 기반 시스템에서 모델을 어디에 저장합니까?

Ubuntu에서 Ollama 모델이 저장되는 위치는 /usr/share/ollama/.ollama/models입니다.

Ollama는 Windows에서 모델을 어디에 저장합니까?

Windows에서 Ollama 모델의 저장 위치는 C:\Users%username%.ollama\models입니다.

Ollama는 LLM 호스팅의 다른 방식과 비교해 어떤 차이가 있나요?

저희 LLM 호스팅 가이드는 Ollama와 vLLM, Docker Model Runner, LocalAI 및 클라우드 제공사를 비교하며, 비용과 인프라 트레이드오프를 다루고 있습니다.

로컬 LLM에서 Ollama를 대체할 수 있는 옵션에 대해 어디서 읽을 수 있을까요?

LLM 호스팅 개요에서 Ollama, vLLM, LocalAI, Docker Model Runner 및 클라우드 옵션을 비교합니다.

Ollama 모델을 다른 위치로 이동하기

Ollama LLM 모델 파일은 많은 용량을 차지합니다

Page content

ollama 설치 후 ollama를 재설정하여 바로 모델을 새로운 위치에 저장하는 것이 좋습니다. 이렇게 하면 새 모델을 pull할 때, 이전 위치로 다운로드되지 않습니다.

모자를 쓴 스마트 라마가 서버실에서 무언가를 하고 있다

Ollama 소개

Ollama 는 LLM AI 모델의 텍스트 기반 프런트엔드이자, 이를 호스팅할 수 있는 API입니다. Ollama와 vLLM, Docker Model Runner, LocalAI 및 클라우드 제공업체 간의 광범위한 비교—비용과 인프라 트레이드오프 포함—는 LLM 호스팅: 로컬, 셀프호스팅 및 클라우드 인프라 비교에서 확인하세요.

Ollama 설치

https://ollama.com/download 으로 이동하세요.

Linux에 Ollama를 설치하려면:

curl -fsSL https://ollama.com/install.sh | sh

Windows용 Ollama는 이 페이지에 있습니다: https://ollama.com/download/windows Mac용 Ollama도在那里입니다: https://ollama.com/download/macOllamaSetup.exe

Ollama 모델 다운로드, 목록 보기 및 삭제

Ollama 모델을 다운로드하려면: Ollama Library(https://ollama.com/library)로 이동하여 필요한 모델을 찾으세요. 여기서 모델 태그와 크기도 확인할 수 있습니다.

그리고 다음을 실행하세요:

ollama pull gemma2:latest

# 또는 16GB VRAM에 잘 들어가는 약간 더 똑똑한 모델을 가져오기:
ollama pull gemma2:27b-instruct-q3_K_S

# 또는: 
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

로컬 저장소에 Ollama가 가지고 있는 모델을 확인하려면:

ollama list

일상적인 명령 세트의 나머지 부분—모델 실행, 중지, ollama serve 환경 변수—are Ollama CLI 치트시트를 참고하세요.

더 이상 필요하지 않은 모델을 삭제하려면:

ollama rm qwen2:7b-instruct-q8_0 # 예시

Ollama 모델 위치

기본적으로 모델 파일은 다음 위치에 저장됩니다:

Windows: C:\Users%username%.ollama\models
Linux: /usr/share/ollama/.ollama/models
macOS: ~/.ollama/models

Ollama가 컨테이너에서 실행될 때도 동일한 저장소 문제가 발생합니다. 모델과 서버 상태를 네임드 볼륨이나 바운트 마운트에 유지하려는 것입니다 (레이아웃이 공식 이미지에서 기본 /root/.ollama 경로와 다르면 OLLAMA_MODELS를 선택적으로 사용). GPU 예약, OLLAMA_HOST, 업그레이드, 롤백 패턴을 포함한 전체 Compose 레이아웃은 Ollama in Docker Compose with GPU and Persistent Model Storage에서 확인하세요.

Windows에서 Ollama 모델 경로 설정

Windows에서 환경 변수를 생성하려면 다음 지침을 따르세요:

Windows 설정을 엽니다.
시스템으로 이동합니다.
약관을 선택합니다.
고급 시스템 설정을 선택합니다.
고급 탭으로 이동합니다.
환경 변수…를 선택합니다.
새…를 클릭합니다.
그리고 OLLAMA_MODELS라고 불리는 변수를 만들어 모델을 저장할 곳을 지정합니다

Linux에서 Ollama 모델 이동

ollama systemd 서비스 매개변수를 편집합니다

sudo systemctl edit ollama.service

또는

sudo xed /etc/systemd/system/ollama.service

이렇게 하면 편집기가 열립니다.

각 환경 변수에 대해 [Service] 섹션 아래에 Environment 줄을 추가합니다:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

저장하고 종료합니다.

User와 Group 매개변수도 있습니다. 이 폴더에 접근 권한이 있어야 합니다.

systemd를 재로딩하고 Ollama를 다시 시작합니다:

sudo systemctl daemon-reload
sudo systemctl restart ollama

문제가 발생하면

systemctl status ollama.service
sudo journalctl -u ollama.service

NTFS에 파일 저장 시 오버헤드

Linux를 실행하고 NTFS 포맷된 파티션에 모델을 유지하는 경우, 모델 로딩이 20% 이상 느려질 수 있다는 점에 유의하세요.

ntfs.mount cpu 사용량

Windows에 Ollama 설치 시 특정 폴더 지정

모델과 함께

.\OllamaSetup.exe /DIR=D:\OllamaDir

내부 네트워크에 Ollama API 노출

여기서 “내부"는 로컬 네트워크를 의미합니다.

서비스 설정에 추가하세요:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

이것은 네트워크에서 평범한 HTTP API를 노출합니다. Caddy 또는 Nginx를 통한 자동 HTTPS, 올바른 스트리밍 및 WebSocket 프록시, 엣지 강화(타임아웃, 버퍼링, API 앞의 선택적 인증)에는 Ollama behind a reverse proxy with Caddy or Nginx for HTTPS streaming을 사용하세요.

공개 포트 없이 원격 장치에서 Ollama에 도달하려면, 사설 오버레이(Tailscale) 또는 WireGuard를 사용하세요. Remote Ollama access via Tailscale or WireGuard, no public ports를 참고하세요.

Ollama가 다른 로컬 및 클라우드 LLM 옵션과 어떻게 조화되는지 보기 위해, LLM Hosting: Local, Self-Hosted & Cloud Infrastructure Compared 가이드를 확인하세요.