Ollama CLI 단축키: ls, serve, run, ps + 명령어 (2026년 업데이트)

이 Ollama CLI 치트시트는 매일 사용하는 명령어(ollama ls, ollama serve, ollama run, ollama ps, 모델 관리, 일반적인 워크플로)에 초점을 맞추고 있으며, 복사/붙여넣기할 수 있는 예제를 제공합니다.

또한 전체 ollama serve 환경 변수 참조 문서(OLLAMA_NUM_PARALLEL, OLLAMA_CONTEXT_LENGTH, OLLAMA_KV_CACHE_TYPE 등), 생각(thinking) 모델 플래그(--think, --hidethinking), 그리고 AI 코딩 어시스턴트를 위한 확장된 ollama launch 통합 기능도 포함하고 있습니다. 아래 명령어와 플래그는 Ollama v0.33.2(2026년 10월) 기준으로 검증되었습니다.

이 Ollama 치트시트는 CLI 명령어, 모델 관리, 맞춤화에 초점을 맞추고 있지만, curl 호출에 대한 내용도 일부 포함하고 있습니다.

Ollama가 로컬, 셀프호스팅, 클라우드 옵션 중 어디에 위치하는지—including vLLM, Docker Model Runner, LocalAI 및 클라우드 프로바이더—전체적인 그림을 보려면 LLM 호스팅: 로컬, 셀프호스팅 및 클라우드 인프라 비교를 참조하세요. 서로 다른 로컬 LLM 호스팅 솔루션을 비교하고 있다면, Ollama, vLLM, LocalAI, Jan, LM Studio 및 기타 12개 이상의 로컬 LLM 도구 종합 비교를 확인해 보세요. 명령어 줄 인터페이스의 대안을 찾고 있다면, Docker Model Runner이 LLM 배포를 위한 다른 접근법을 제공합니다. 동시 트래픽이나 큐잉이 단일 Ollama 인스턴스에 부담을 주기 시작하면, Ollama에서 vLLM으로: 로컬 LLM 서버 마이그레이션 타이밍에서 마이그레이션 신호와 단계별 롤아웃 계획을 다룹니다.

Ollama 설치 (다운로드 및 CLI 설치)

• 옵션 1: 웹사이트에서 다운로드
  • ollama.com을 방문하여 운영체제(Mac, Linux, 또는 Windows)에 맞는 설치 파일을 다운로드합니다.
• 옵션 2: 명령어 줄을 통해 설치
  • Mac 및 Linux 사용자는 다음 명령어를 사용합니다:

curl -fsSL https://ollama.com/install.sh | sh

• 화면의 지침을 따라 진행하며, 프롬프트가 표시되면 비밀번호를 입력합니다.

Ollama 시스템 요구 사항 (RAM, 저장 공간, CPU)

• 운영체제: Mac, Linux 또는 Windows
• 메모리 (RAM): 최소 8GB, 권장 16GB 이상
• 저장 공간: 최소 약 10GB의 여유 공간 (모델 파일은 매우 커질 수 있으며, 이들을 다른 위치로 옮기는 방법은 아래 모델 관리 섹션을 참조하세요)
• 프로세서: 비교적 최신 CPU (최근 5년 이내). Ollama가 다양한 CPU 아키텍처를 어떻게 활용하는지 궁금하다면, Ollama가 Intel CPU의 성능 코어와 효율 코어를 어떻게 사용하는지에 대한 우리의 분석을 확인하세요.

기본 Ollama CLI 명령어

인수 없이 단순히 ollama를 실행하면 이제 ollama launch와 동일한 인터랙티브 실행기 메뉴가 열립니다 — 목록에서 통합 기능과 모델을 선택하면 됩니다.

Ollama CLI (개요)

Ollama CLI는 모델을 관리하고 로컬에서 실행/서빙하는 명령어 줄 인터페이스입니다. 대부분의 워크플로우는 다음으로 귀결됩니다:

• 서버 시작: ollama serve
• 모델 실행: ollama run <model>
• 로드/실행 중인 항목 확인: ollama ps
• 모델 관리: ollama pull, ollama list, ollama rm
• AI 코딩 어시스턴트 실행: ollama launch

Ollama 모델 관리: 모델 pull 및 list 명령어

모델 목록 보기:

ollama list

다음과 동일합니다:

ollama ls

이 명령어는 시스템에 다운로드된 모든 모델을 HDD/SSD의 파일 크기와 함께 나열합니다. 예를 들어 다음과 같습니다.

$ ollama ls
NAME                                                    ID              SIZE      MODIFIED     
deepseek-r1:8b                                          6995872bfe4c    5.2 GB    2 weeks ago     
gemma3:12b-it-qat                                       5d4fa005e7bb    8.9 GB    2 weeks ago     
LoTUs5494/mistral-small-3.1:24b-instruct-2503-iq4_NL    4e994e0f85a0    13 GB     3 weeks ago     
dengcao/Qwen3-Embedding-8B:Q4_K_M                       d3ca2355027f    4.7 GB    4 weeks ago     
dengcao/Qwen3-Embedding-4B:Q5_K_M                       7e8c9ad6885b    2.9 GB    4 weeks ago     
qwen3:8b                                                500a1f067a9f    5.2 GB    5 weeks ago     
qwen3:14b                                               bdbd181c33f2    9.3 GB    5 weeks ago     
qwen3:30b-a3b                                           0b28110b7a33    18 GB     5 weeks ago     
devstral:24b                                            c4b2fa0c33d7    14 GB     5 weeks ago  

모델 다운로드: ollama pull

ollama pull mistral-nemo:12b-instruct-2407-q6_K

이 명령어는 지정된 모델(예: Gemma 2B 또는 mistral-nemo:12b-instruct-2407-q6_K)을 시스템으로 다운로드합니다. 모델 파일은 상당히 클 수 있으므로, 하드 드라이브 또는 SSD에서 모델이 차지하는 공간을 주의 깊게 확인해야 합니다. 모든 Ollama 모델을 홈 디렉터리에서 더 크고 나은 다른 드라이브로 이동)하는 것도 고려해 볼 수 있습니다.

모델 업로드: ollama push

ollama push my-custom-model

로컬 모델을 Ollama 레지스트리에 업로드하여 다른 사용자가 pull할 수 있게 합니다. 먼저 로그인(ollama signin)해 있어야 하며, 모델 이름 앞에 Ollama 사용자 이름이 접두사로 붙어야 합니다. 예: myuser/my-model. HTTP를 통해 프라이빗 레지스트리에 push하는 경우 --insecure 플래그를 사용하세요:

ollama push myuser/my-model --insecure

모델 복사: ollama cp

ollama cp llama3.2 my-llama3-variant

무엇을 재다운로드하지 않고 모델을 새 이름으로 로컬에 복사합니다. 이것은 Modelfile을 수정하기 전에 유용합니다 — 먼저 복사본을 만들고, 복사본을 맞춤화하며, 원본은 그대로 유지할 수 있습니다:

ollama cp qwen3:14b qwen3-14b-custom
ollama create qwen3-14b-custom -f ./Modelfile

모델 제거: ollama rm

ollama rm qwen3:8b
# 최신 버전에서는 하나의 호출로 여러 모델을 허용:
ollama rm qwen3:8b qwen3:14b

ollama rm은 모델의 매니페스트와 다른 모델에 더 이상 참조되지 않는 블롭(blob)을 삭제하므로, 파생 모델의 공유된 베이스 레이어는 유지됩니다.

Ollama show 명령어

ollama show는 다운로드된 모델에 대한 정보를 인쇄합니다.

ollama show qwen3:14b

기본적으로 모델 카드(아키텍처, 컨텍스트 길이, 임베딩 길이, 양자화 등)를 인쇄합니다. 여섯 가지 유용한 플래그가 있습니다:

# 모델이 어떤 시스템 프롬프트와 템플릿으로 빌드되었는지 정확히 확인
ollama show deepseek-r1:8b --modelfile

# 컨텍스트 윈도우 크기와 다른 추론 매개변수 확인
ollama show qwen3:14b --parameters

# 맞춤화된 모델의 시스템 프롬프트만 확인
ollama show mymodel --system

# 제품 내에 모델을 배포하기 전에 라이선스 확인
ollama show llama3.2 --license

# 전체 텐서 수준의 상세 정보 (양자화 디버깅에 유용)
ollama show llama3.2 --verbose

--modelfile 출력은 모델을 맞춤화하기 전에 특히 유용합니다: 처음부터 작성하는 대신 기본 Modelfile을 복사하고 거기서부터 수정할 수 있습니다.

Ollama serve 명령어

ollama serve는 로컬 Ollama 서버를 시작합니다 (기본 HTTP 포트 11434).

ollama serve

“ollama serve” 명령어 (systemd 친화적 예제):

# 환경 변수 설정 후 서버 시작
# ollama를 호스트의 IP 주소에서 사용 가능하게 함
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_NUM_PARALLEL=2
ollama serve

ollama start는 ollama serve의 별칭이므로, 둘 다 동일한 서버를 시작합니다.

0.0.0.0에 바인딩하면 서버가 인증 없이 네트워크에 노출됩니다 — Caddy 또는 Nginx 리버스 프록시 뒤의 Ollama에 설명된 대로 앞에 TLS를 갖춘 리버스 프록시를 두거나, Ollama 원격 액세스 패턴을 따라 프라이빗 터널을 통해 접근하세요. 대신 컨테이너에서 서버를 실행하려면 GPU 및 지속적 모델 저장소가 포함된 Docker Compose에서 Ollama 실행를 참조하세요.

Ollama serve 환경 변수 (전체 참조)

다음은 ollama serve가 시작 시 읽는 환경 변수입니다 (Ollama v0.33 기준):

예를 들어, 모든 모델의 기본 컨텍스트 윈도우를 높이기 위해:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

VRAM별 기본 컨텍스트 길이

OLLAMA_CONTEXT_LENGTH가 설정되지 않으면, 서버는 기계의 총 VRAM에 기반한 단계별 기본값을 선택합니다 (Ollama v0.15.5에 추가됨):

Ollama는 컨텍스트가 많이 필요한 워크로드(웹 검색, 에이전트, 코딩 도구)에 대해 최소 64,000 토큰을 권장합니다 — 메모리 사용량은 OLLAMA_NUM_PARALLEL에 따라 증가하므로, 높은 병렬 설정과 큰 기본 컨텍스트가 결합되면 모델 레이어가 VRAM에서 밀려날 수 있습니다. 서버는 시작 시 선택된 값을 vram-based default context로 로그에 기록합니다.

KV 캐시 유형은 속도를 위해 메모리를 교환합니다 — KV 캐시를 q8_0으로 양자화하면 VRAM 사용량이 절반으로 줄어 긴 컨텍스트 실행에 적합하며, 우리의 16GB GPU에서의 KV 캐시 긴 컨텍스트 테스트가 실제 영향을 측정합니다. OLLAMA_NUM_PARALLEL과 OLLAMA_MAX_QUEUE는 Ollama가 병렬 요청을 처리하는 방법에서 자세히 다룹니다.

Ollama run 명령어

모델 실행:

ollama run gpt-oss:20b

이 명령어는 지정된 모델을 시작하고 상호작용을 위한 인터랙티브 REPL을 엽니다. Ollama가 여러 동시 요청을 어떻게 관리하는지 이해하고 싶으신가요? 상세한 분석에서 Ollama가 병렬 요청을 처리하는 방법을 더 자세히 배워보세요.

ollama run은 모델을 인터랙티브 세션에서 실행하므로, gpt-oss:120b의 경우 다음과 같은 것을 볼 것입니다.

$ ollama run gpt-oss:120b
>>> Send a message (/? for help)

질문이나 명령어를 입력하면 모델이 답변합니다.

>>> who are you?
Thinking...
The user asks "who are you?" Simple question. Should respond as ChatGPT, an AI language model, trained by OpenAI, 
etc. Provide brief intro. Probably ask if they need help.
...done thinking.

I’m ChatGPT, an AI language model created by OpenAI. I’ve been trained on a wide range of text so I can help 
answer questions, brainstorm ideas, explain concepts, draft writing, troubleshoot problems, and much more. Think 
of me as a versatile virtual assistant—here to provide information, support, and conversation whenever you need 
it. How can I help you today?

>>> Send a message (/? for help)

인터랙티브 ollama 세션을 종료하려면 Ctrl+D를 누르거나, /bye를 입력하면 됩니다. 동일한 결과입니다:

>>> /bye
$ 

Ollama run 명령어 예제

모델을 실행하고 비인터랙티브 모드에서 단일 질문을 하려면:

printf "Give me 10 bash one-liners for log analysis.\n" | ollama run llama3.2

ollama 세션에서 상세한_verbose_ LLM 답변을 보려면, 모델을 --verbose 또는 -v 매개변수와 함께 실행하세요:

$ ollama run gpt-oss:20b --verbose
>>> who are you?
Thinking...
We need to respond to a simple question: "who are you?" The user is asking "who are you?" We can answer that we 
are ChatGPT, a large language model trained by OpenAI. We can also mention capabilities. The user likely expects 
a brief introduction. We'll keep it friendly.
...done thinking.

I’m ChatGPT, a large language model created by OpenAI. I’m here to help answer questions, offer explanations, 
brainstorm ideas, and chat about a wide range of topics—everything from science and history to creative writing 
and everyday advice. Just let me know what you’d like to talk about!

total duration:       1.118585707s
load duration:        106.690543ms
prompt eval count:    71 token(s)
prompt eval duration: 30.507392ms
prompt eval rate:     2327.30 tokens/s
eval count:           132 token(s)
eval duration:        945.801569ms
eval rate:            139.56 tokens/s
>>> /bye
$ 

네, 맞습니다. 이는 초당 139개 토큰입니다. gpt-oss:20b는 매우 빠릅니다. 저와 같은 16GB VRAM이 있는 GPU를 가지고 있다면, 16GB VRAM GPU에서 Ollama를 위한 최고의 LLM에서 LLM 속도 비교 세부 사항을 확인하세요.

팁: 여러 앱에서 HTTP를 통해 모델을 사용하려면, ollama serve로 서버를 시작하고 긴 인터랙티브 세션 대신 API 클라이언트를 사용하세요.

Ollama run 플래그 (전체 참조)

두 가지 환경 변수가 ollama run 자체에 영향을 미칩니다: OLLAMA_EDITOR는 REPL에서 Ctrl+G로 열리는 에디터를 설정하고, OLLAMA_NOHISTORY=1은 readline 히스토리 영속화를 비활성화합니다.

생각(Thinking) 모델: –think와 –hidethinking

생각 능력을 가진 모델(deepseek-r1, qwen3, gpt-oss 등)은 CLI에서 기본적으로 생각합니다(answer 전에 추론 과정이 인쇄됩니다):

ollama run qwen3:14b --think=false "Answer straight, no reasoning trace"
ollama run deepseek-r1:8b --hidethinking "Is 9.9 bigger or 9.11?"   # 생각은 하되 답변만 인쇄

GPT-OSS 모델은 부울 값 대신 레벨을 허용합니다 — 켜거나 끄는 것이 아니라 추론 과정의 길이를 조절합니다:

ollama run gpt-oss:20b --think=low "Draft a headline"

인터랙티브 세션 내부에서는 /set think와 /set nothink로 생각을 전환할 수 있습니다.

Modelfile 없이 모델 매개변수 오버라이드

오래된 블로그 게시물들은 ollama run에 -p / --parameters 플래그가 있다고 보여주지만; 현재 릴리스에서는 더 이상 존재하지 않습니다. Modelfile을 수정하지 않고 추론 매개변수를 변경하는 지원되는 방법은 REPL입니다:

$ ollama run qwen3:14b
>>> /set parameter num_ctx 32768
Set parameter 'num_ctx' to '32768'
>>> /save qwen3-14b-32k
>>> /bye

/set parameter는 현재 세션에만 적용되며, /save는 나중에 ollama run qwen3-14b-32k로 실행할 수 있는 새로운 로컬 모델로 영속화합니다. /show parameters는 현재 세션의 설정을 나열합니다. 서버의 모든 모델에 대해, ollama serve의 OLLAMA_CONTEXT_LENGTH는 기본 컨텍스트 윈도우를 전역으로 변경합니다.

이렇게 설정할 수 있는 일반적인 매개변수:

ollama show <model>은 모델이 지원할 수 있는 컨텍스트 길이를 보고하고, ollama ps는 로드된 인스턴스에 실제로 할당된 컨텍스트를 표시합니다 — 긴 프롬프트가 조용히 잘려 보인다면 Ollama ps 명령어를 참조하세요.

REPL에서의 멀티라인 입력

삼중 인용부호(""")로 텍스트를 감싸면 너무 일찍 제출되지 않고 멀티라인 프롬프트를 입력할 수 있습니다:

>>> """Summarise this in one sentence:
... The quick brown fox jumps over the lazy dog.
... It happened on a Tuesday.
... """

더 긴 프롬프트의 경우, Ctrl+G는 현재 프롬프트를 전체 텍스트 에디터($EDITOR, 또는 OLLAMA_EDITOR가 가리키는 것)에서 열며, 저장하고 종료할 때 제출합니다 — 긴 시스템 프롬프트를 반복 개선할 때 유용합니다 (Ollama v0.16에 추가됨).

멀티모달 모델 (이미지)

비전 기능을 가진 모델(예: gemma3, llava)의 경우, 프롬프트에 이미지 경로를 직접 전달합니다:

ollama run gemma3 "What's in this image? /home/user/screenshot.png"

CLI를 통한 임베딩 생성

임베딩 모델은 텍스트 대신 JSON 배열을 출력합니다. 빠른 일회용 임베딩을 위해 텍스트를 직접 파이프합니다:

echo "Hello world" | ollama run nomic-embed-text

두 가지 ollama run 플래그는 임베딩 모델에特有합니다: --dimensions 512는 출력 벡터를 512차원으로 잘라냅니다 (nomic-embed 같은 Matryoshka 지원 모델에서 더 작은 벡터가 유용할 때), --truncate=false는 모델의 컨텍스트보다 긴 입력이 조용히 잘리는 대신 에러를 반환하도록 합니다.

프로덕션 임베딩 워크로드의 경우 /api/embed REST 엔드포인트 또는 Python 클라이언트를 사용하세요.

JSON 출력 강제 (–format)

ollama run llama3.2 --format json "List 5 capital cities as JSON"

모델은 유효한 JSON을 반환하도록 지시됩니다. 출력을 jq나 구조화된 데이터를 예상하는 스크립트로 파이프할 때 유용합니다.

Ollama stop 명령어

이 명령어는 지정된 실행 중 모델을 중지합니다.

ollama stop llama3.1:8b-instruct-q8_0

Ollama는 일정 시간 후에 모델을 자동으로 제거합니다. 기본값은 5분(OLLAMA_KEEP_ALIVE=5m)이며, 오래된 Ollama 릴리스에서는 4분을 사용했습니다. 나머지 시간을 기다리고 싶지 않다면 ollama stop 명령어를 사용하세요. 모델을 시작할 때 ollama run에 --keepalive를 전달할 수도 있습니다 (예: --keepalive 30s, 모델을 영원히 로드 상태로 유지하려면 --keepalive -1), 또는 매개변수 keep_alive=0과 함께 /generate API 엔드포인트를 호출하여 모델을 즉시 VRAM에서 꺼낼 수 있습니다 — 설명과 예제는 아래를 참조하세요.

Ollama ps 명령어

ollama ps는 현재 실행 중인 모델과 세션을 표시합니다 (“왜 내 VRAM이 가득 찼지?”를 디버깅하는 데 유용).

ollama ps

ollama ps 출력의 예는 아래와 같습니다:

NAME           ID              SIZE     PROCESSOR    CONTEXT    UNTIL
gpt-oss:20b    17052f91a42e    14 GB    100% GPU     4096       4 minutes from now

CONTEXT 컬럼은 이 로드된 인스턴스에 실제로 할당된 컨텍스트입니다. 이는 모델이 지원하는 컨텍스트 길이를 보고하는 ollama show <model>와 다릅니다 — 모델이 긴 프롬프트를 조용히 잘라버린다면, 실제 런타임 값을 드러내는 명령어는 ollama ps입니다.

제 PC에서 gpt-oss:20b가 내 GPU의 16GB VRAM에 아주 잘 맞고, 단 14GB만 차지하는 것을 볼 수 있습니다.

ollama run gpt-oss:120b를 실행한 후 ollama ps를 호출하면 결과는 그렇게 밝지 않습니다: 레이어의 78%가 CPU에 있으며, 이것은 컨텍스트 윈도우가 4096 토큰일 때만 해당됩니다 — 컨텍스트를 늘리면 메모리 사용량은 더 증가합니다.

NAME            ID              SIZE     PROCESSOR          CONTEXT    UNTIL
gpt-oss:120b    a951a23b46a1    66 GB    78%/22% CPU/GPU    4096       4 minutes from now

Ollama launch 명령어 (AI 코딩 통합)

ollama launch는 **Ollama v0.15 (2026년 1월)**에 소개된 명령어로, 로컬 Ollama 서버를 대상으로 실행되는 인기 있는 AI 코딩 어시스턴트를 위한 무설치(Zero-config) 한 줄 설정을 제공합니다.

ollama launch를 사용하는 이유?

ollama launch 이전에는 Claude Code나 Codex 같은 코딩 에이전트를 로컬 Ollama 백엔드에 연결하려면 환경 변수를 수동으로 설정하고, 도구를 올바른 API 엔드포인트로 지정하며, 호환되는 모델을 선택해야 했습니다. ollama launch는这一切를 인터랙티브로 처리해 줍니다.

이미 로컬에서 Ollama를 실행하고 있으며, API 호출 비용을 지불하거나 코드를 클라우드에 보내지 않고 에이전틱 코딩 어시스턴트를 원한다면, ollama launch가 туда로 가는 가장 빠른 경로입니다.

지원되는 통합

v0.15의 네 가지 통합을 잘 넘어선 목록입니다. Ollama v0.33 기준, ollama launch는 다음을 지원합니다:

기본 사용법

# 인터랙티브 선택기 — 메뉴에서 통합과 모델 선택
# (모델 선택기는 v0.16.3 이후 항상 표시됨)
ollama launch

# 특정 통합을 직접 실행
ollama launch claude

# 특정 모델로 실행
ollama launch claude --model qwen3-coder

# 실행하지 않고 통합 구성 (설정 확인에 유용)
ollama launch droid --config

# 통합을 기본 프로파일로 재설정
ollama launch codex --restore

# -- 뒤에 통합으로 추가 인수를 전달
ollama launch codex -- --sandbox workspace-write

--yes (-y)는 확인 프롬프트에 자동으로 응답하며, 스크립트 및 온보딩 흐름에서 유용합니다.

권장 모델

코딩 에이전트는 전체 파일 컨텍스트와 멀티턴 대화 역사를 유지하기 위해 긴 컨텍스트 윈도우가 필요합니다. Ollama는 최소 64,000 토큰의 컨텍스트를 가진 모델을 권장합니다:

GPU에 모델을 담아낼 수 없다면, Ollama는 클라우드 호스팅 변형(예: qwen3-coder:480b-cloud)도 제공합니다. 이는 같은 방식으로 통합되지만 추론을 Ollama의 클라우드 티어로 라우팅하며 — ollama signin이 필요합니다.

예제: Ollama로 로컬에서 Claude Code 실행

# 1. 모델 사용 가능 여부 확인
ollama pull qwen3-coder

# 2. 해당 모델을 대상으로 Claude Code 실행
ollama launch claude --model qwen3-coder

Ollama은 필요한 환경 변수를 설정하고 http://localhost:11434를 가리키는 Claude Code를 자동으로 시작합니다. 그 후 Claude Code를 평소와 똑같이 사용할 수 있습니다 — 유일한 차이점은 추론이 사용자의 자체 하드웨어에서 발생한다는 것입니다.

성능 조절 (OLLAMA_NUM_PARALLEL)

하중 하에서 큐잉이나 타임아웃을 본다면, 알아야 할 첫 번째 조절 레버는 **OLLAMA_NUM_PARALLEL**입니다.

• OLLAMA_NUM_PARALLEL = Ollama가 병렬로 실행하는 요청 수.
• 더 높은 값은 처리량을 증가시킬 수 있지만, VRAM 압력과 레이턴시 스파이크를 증가시킬 수 있습니다.
• 모든 병렬 슬롯이 바쁠 때 도착하는 요청은 큐에 배치되며; 그 깊이는 OLLAMA_MAX_QUEUE로 제한됩니다.

빠른 예제:

OLLAMA_NUM_PARALLEL=2 ollama serve

전체 설명(튜닝 전략 및 실패 모드 포함)을 보려면:

• Ollama가 병렬 요청을 처리하는 방법

VRAM에서 Ollama 모델 해제 (keep_alive)

모델이 VRAM(GPU 메모리)에 로드된 후, 사용을 종료해도 그곳에 남아 있게 됩니다. VRAM에서 모델을 명시적으로 해제하고 GPU 메모리를 확보하려면, keep_alive: 0을 가진 요청을 Ollama API에 보낼 수 있습니다.

• curl을 사용하여 VRAM에서 모델 해제:

curl http://localhost:11434/api/generate -d '{"model": "MODELNAME", "keep_alive": 0}'

MODELNAME을 실제 모델 이름으로 대체합니다, 예를 들어:

curl http://localhost:11434/api/generate -d '{"model": "qwen3:14b", "keep_alive": 0}'

• Python을 사용하여 VRAM에서 모델 해제:

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={'model': 'qwen3:14b', 'keep_alive': 0}
)

이는 특히 다음과 같은 경우에 유용합니다:

• 다른 애플리케이션을 위해 GPU 메모리를 확보해야 할 때
• 여러 모델을 실행 중이며 VRAM 사용을 관리하고 싶을 때
• 대형 모델 사용을 종료하고 즉시 리소스를 해제하고 싶을 때

노트: keep_alive 매개변수는 마지막 요청 후 모델이 메모리에 로드 상태를 유지하는 시간(초)을 제어합니다. 0으로 설정하면 모델이 즉시 VRAM에서 언로드되고, 음수 값(예: -1)은 모델을 영원히 로드 상태로 유지하며, 기간 문자열(예: 10m, 24h)도 허용됩니다. 서버 전역 기본값은 OLLAMA_KEEP_ALIVE=5m이며, 요청별 keep_alive는 항상 이를 오버라이드합니다.

Ollama의 추상화 레이어를 완전히 피하고 언제든 어떤 GGUF 모델이 상주하는지에 대한 직접적인 제어를 원한다면, llama-server 라우터 모드가 동적 모델 전환을 위한 llama.cpp 네이티브 접근법을 다룹니다.

Ollama 모델 맞춤화 (시스템 프롬프트, Modelfile)

• 시스템 프롬프트 설정: Ollama REPL 내부에서 모델의 동작을 맞춤화하기 위해 시스템 프롬프트를 설정할 수 있습니다:

  >>> /set system For all questions asked answer in plain English avoiding technical jargon as much as possible
  >>> /save ipe
  >>> /bye
  

  그런 다음, 맞춤화된 모델을 실행합니다:

  ollama run ipe
  

  이것은 시스템 프롬프트를 설정하고 미래 사용을 위해 모델을 저장합니다.

• 커스텀 모델 파일 생성: 다음 구조가 포함된 텍스트 파일(예: custom_model.txt)을 생성합니다:

  FROM llama3.1
  PARAMETER num_ctx 32768
  SYSTEM [Your custom instructions here]
  

  그런 다음, 실행:

  ollama create mymodel -f custom_model.txt
  ollama run mymodel
  

  이것은 파일 내 지침에 기반한 맞춤화된 모델을 생성합니다. ollama create는 빌드하면서 양자화할 수도 있습니다 — -q q4_K_M는 양자화되지 않은(safetensors) 소스에서 Q4_K_M GGUF를 생성하고, --draft-quantize는 드래프트(선택적 디코딩) 모델의 양자화를 설정하며, --experimental은 아직 실험적으로 표시된 safetensors 모델 생성 기능을 활성화합니다.

Ollama signin과 signout (레지스트리 인증)

ollama signin
ollama signout

ollama signin은 로컬 Ollama 설치 환경을 ollama.com의 Ollama 레지스트리와 인증합니다. 로그인하면 클라이언트는 자격 증명을 로컬에 저장하고 후속 명령어에서 자동으로 재사용합니다.

signin이 잠금 해제하는 것:

• 계정 또는 조직에서 프라이빗 모델을 pull 및 push.
• 로컬에서 실행하기에 너무 큰 클라우드 호스팅 모델(예: qwen3-coder:480b-cloud) 사용.
• ollama push로 모델을 레지스트리에 게시.

대안: API 키 인증

CI 파이프라인이나 인터랙티브 ollama signin이 실용적이지 않은 헤드리스 서버에서 Ollama를 실행 중이라면, Ollama 계정 설정에서 API 키를 생성하고 환경 변수로 노출합니다:

export OLLAMA_API_KEY=ollama_...
ollama pull myorg/private-model

OLLAMA_API_KEY 변수는 모든 Ollama 명령어와 API 요청에서 자동으로 수집됩니다 — 각 기계마다 ollama signin을 실행할 필요가 없습니다.

파일과 함께 Ollama run 명령어 사용 (요약, 리디렉트)

• 파일에서 텍스트 요약:

  ollama run llama3.2 "Summarize the content of this file in 50 words." < input.txt
  

  이 명령어는 지정된 모델을 사용하여 input.txt의 내용을 요약합니다.

• 모델 응답을 파일에 로깅:

  ollama run llama3.2 "Tell me about renewable energy." > output.txt
  

  이 명령어는 모델의 응답을 output.txt에 저장합니다.

Ollama CLI 사용 사례 (텍스트 생성, 분석)

• 텍스트 생성:

  • 대형 텍스트 파일 요약:

    ollama run llama3.2 "Summarize the following text:" < long-document.txt
    

  • 콘텐츠 생성:

    ollama run llama3.2 "Write a short article on the benefits of using AI in healthcare." > article.txt
    

  • 특정 질문에 대한 답변:

    ollama run llama3.2 "What are the latest trends in AI, and how will they affect healthcare?"
    

  • 생각 추론 과정(thinking trace) 없이 원샷 답변 (생각 모델에서):

    ollama run qwen3:14b --think=false --hidethinking "What are the latest trends in AI, and how will they affect healthcare?"
    

• 데이터 처리 및 분석:

  • 텍스트를 긍정, 부정, 중립 감정으로 분류:

    ollama run llama3.2 "Analyze the sentiment of this customer review: 'The product is fantastic, but delivery was slow.'"
    

  • 텍스트를 미리 정의된 범주로 분류: 미리 정의된 기준에 따라 텍스트를 분류하거나 범주화하는 데 유사한 명령어를 사용합니다.

Python과 함께 Ollama 사용 (클라이언트 및 API)

• Ollama Python 라이브러리 설치:

  pip install ollama
  

• Python을 사용하여 텍스트 생성:

  import ollama
  
  response = ollama.generate(model='gemma:2b', prompt='what is a qubit?')
  print(response['response'])
  

  이 코드 스니펫은 지정된 모델과 프롬프트를 사용하여 텍스트를 생성합니다.

고급 Python 통합을 위해 Python에서 Ollama Web Search API 사용을 탐색해 보세요. 여기에는 웹 검색 기능, 도구 호출, MCP 서버 통합이 다뤄집니다.

웹 기반 인터페이스를 찾고 계신가요? Open WebUI는 RAG 기능과 멀티 유저 지원을 갖춘 셀프호스티드 인터페이스를 제공합니다.

유용한 링크

설정 및 관리

• Ollama 모델을 다른 드라이브 또는 폴더로 이동
• GPU 및 지속적 모델 저장소가 포함된 Docker Compose에서 Ollama 실행

대안 및 비교

• 로컬 LLM 호스팅: 2026 완전 가이드 - Ollama, vLLM, LocalAI, Jan, LM Studio & More
• llama.cpp vs Ollama in 2026: 어떤 런타임을 실행해야 할까요?
• vLLM 퀵스타트: 고성능 LLM 서빙
• Docker Model Runner vs Ollama: 무엇을 선택할까요?
• Ollama Enshittification의 첫 징후
• Ollama에서 vLLM으로: 로컬 LLM 서버 마이그레이션 타이밍

성능 및 하드웨어

• Ollama가 병렬 요청을 처리하는 방법
• Ollama가 Intel CPU의 성능 코어와 효율 코어를 사용하는 방법
• NVIDIA DGX Spark vs Mac Studio vs RTX-4080: Ollama 성능 비교

통합 및 개발

• Python에서 Ollama Web Search API 사용
• Go에서 Ollama Web Search API 사용
• AI 코딩 어시스턴트 비교
• 로컬 Ollama 인스턴스의 LLM용 오픈소스 채팅 UI
• 구조화된 출력을 통한 LLM 제약: Ollama, Qwen3 및 Python 또는 Go
• Python과 Ollama 통합: REST API 및 Python 클라이언트 예제
• Ollama용 Go SDK - 예제와 비교