Шпаргалка по CLI Ollama: команды ls, serve, run, ps и другие (обновление 2026 г.)

Обновлённый список команд Ollama: ls, ps, run, serve и другие

Содержимое страницы

Эта [шпаргалка по CLI Ollama](https://www.glukhov.org/ru/llm-hosting/ollama/ollama-cheatsheet/ “Шпаргалка по CLI Ollama — самые полезные команды с примерами”) посвящена командам, которыми вы пользуетесь каждый день (ollama ls, ollama serve, ollama run, ollama ps, управление моделями и типовые рабочие процессы), с примерами, которые можно копировать и вставлять.

Также здесь приведена полная справка по переменным окружения для ollama serve (OLLAMA_NUM_PARALLEL, OLLAMA_CONTEXT_LENGTH, OLLAMA_KV_CACHE_TYPE и другие), флаги для моделей с рассуждениями (--think, --hidethinking), а также расширенные интеграции ollama launch для ИИ-ассистентов по написанию кода. Команды и флаги ниже проверены относительно версии Ollama v0.33.2 (октябрь 2026 г.).

Шпаргалка по CLI Ollama

Эта шпаргалка по Ollama фокусируется на командах CLI, управлении моделями и кастомизации, но также включает некоторые вызовы curl.

Для полной картины о том, где Ollama находится среди локальных, self-hosted и облачных вариантов — включая vLLM, Docker Model Runner, LocalAI и облачных провайдеров — см. Хостинг LLM: локальная, self-hosted и облачная инфраструктура в сравнении. Если вы сравниваете различные решения для локального хостинга LLM, посмотрите наше комплексное сравнение Ollama, vLLM, LocalAI, Jan, LM Studio и других. Для тех, кто ищет альтернативы интерфейсам командной строки, Docker Model Runner предлагает другой подход к развертыванию LLM. Если параллельный трафик или очереди начинают нагружать единственный экземпляр Ollama, Ollama to vLLM: когда перемещать ваш локальный LLM-сервер разбирает признаки, указывающие на необходимость миграции, и план поэтапного внедрения.

Установка Ollama (скачивание и установка через CLI)

  • Вариант 1: Скачивание с сайта
    • Посетите ollama.com и скачайте установщик для вашей операционной системы (Mac, Linux или Windows).
  • Вариант 2: Установка через командную строку
    • Для пользователей Mac и Linux используйте команду:
curl -fsSL https://ollama.com/install.sh | sh
  • Следуйте инструкциям на экране и введите пароль, если система попросит.

Системные требования Ollama (ОЗУ, хранение, CPU)

  • Операционная система: Mac, Linux или Windows
  • Память (RAM): минимум 8 ГБ, рекомендуется 16 ГБ или больше
  • Хранилище: хотя бы ~10 ГБ свободного места (файлы моделей могут быть очень большими — см. раздел ниже об управлении моделями, чтобы узнать о переносе их в другое место)
  • Процессор: относительно современный CPU (последних 5 лет). Если вам интересно, как Ollama использует различные архитектуры CPU, см. наш анализ того, как Ollama использует производительные и эффективные ядра Intel CPU.

Базовые команды CLI Ollama

Команда Описание
ollama serve Запускает сервер Ollama (порт по умолчанию 11434). Псевдоним: ollama start.
ollama run <model> Запускает указанную модель в интерактивном режиме REPL.
ollama pull <model> Скачивает указанную модель на вашу систему.
ollama push <model> Загружает модель в реестр Ollama.
ollama list Выводит список всех скачанных моделей. То же, что ollama ls.
ollama ps Показывает текущие запущенные (загруженные) модели.
ollama stop <model> Останавливает (выгружает) запущенную модель.
ollama rm <model> [model...] Удаляет одну или несколько моделей с вашей системы.
ollama cp <source> <dest> Копирует модель под новым именем локально.
ollama show <model> Показывает детали о модели (архитектура, параметры, шаблон и т.д.).
ollama create <model> Создает новую модель на основе Modelfile.
ollama launch [integration] Запуск ИИ-ассистентов для кода без настройки (Claude Code, Codex, Cline, Copilot CLI, OpenCode и другие).
ollama signin Аутентификация в реестре Ollama (позволяет использовать частные модели и облачные модели).
ollama signout Выход из реестра Ollama.
ollama help Выводит справку по любой команде.

Выполнение просто ollama без аргументов теперь открывает то же интерактивное меню запусков, что и ollama launch — вы выбираете интеграцию и модель из списка.

Ollama CLI (что это такое)

Ollama CLI — это интерфейс командной строки для управления моделями и их локального запуска/предоставления. Большинство рабочих процессов сводятся к:

  • Запуск сервера: ollama serve
  • Запуск модели: ollama run <model>
  • Просмотр загруженных/запущенных: ollama ps
  • Управление моделями: ollama pull, ollama list, ollama rm
  • Запуск ИИ-ассистента для кода: ollama launch

Управление моделями Ollama: команды для скачивания и списка моделей

Список моделей:

ollama list

так же, как:

ollama ls

Эта команда выводит список всех моделей, скачанных на вашу систему, с их размерами файлов на вашем HDD/SSD, как в примере:

$ ollama ls
NAME                                                    ID              SIZE      MODIFIED     
deepseek-r1:8b                                          6995872bfe4c    5.2 GB    2 weeks ago     
gemma3:12b-it-qat                                       5d4fa005e7bb    8.9 GB    2 weeks ago     
LoTUs5494/mistral-small-3.1:24b-instruct-2503-iq4_NL    4e994e0f85a0    13 GB     3 weeks ago     
dengcao/Qwen3-Embedding-8B:Q4_K_M                       d3ca2355027f    4.7 GB    4 weeks ago     
dengcao/Qwen3-Embedding-4B:Q5_K_M                       7e8c9ad6885b    2.9 GB    4 weeks ago     
qwen3:8b                                                500a1f067a9f    5.2 GB    5 weeks ago     
qwen3:14b                                               bdbd181c33f2    9.3 GB    5 weeks ago     
qwen3:30b-a3b                                           0b28110b7a33    18 GB     5 weeks ago     
devstral:24b                                            c4b2fa0c33d7    14 GB     5 weeks ago  

Скачивание модели: ollama pull

ollama pull mistral-nemo:12b-instruct-2407-q6_K

Эта команда скачивает указанную модель (например, Gemma 2B, или mistral-nemo:12b-instruct-2407-q6_K) на вашу систему. Файлы моделей могут быть довольно большими, поэтому следите за объемом места, занимаемым моделями на жестком диске или SSD. Возможно, вам даже захочется переместить все модели Ollama из домашней директории на другой, более большой и быстрый диск

Загрузка модели: ollama push

ollama push my-custom-model

Загружает локальную модель в реестр Ollama, чтобы другие могли ее скачать. Сначала вам необходимо выполнить вход (ollama signin), и имя модели должно иметь префикс с вашим именем пользователя Ollama, например, myuser/my-model. Используйте --insecure, если вы загружаете модель в частный реестр по HTTP:

ollama push myuser/my-model --insecure

Копирование модели: ollama cp

ollama cp llama3.2 my-llama3-variant

Создает локальную копию модели под новым именем без повторного скачивания чего-либо. Это удобно перед редактированием Modelfile — сначала скопируйте, кастомизируйте копию и оставьте оригинал нетронутым:

ollama cp qwen3:14b qwen3-14b-custom
ollama create qwen3-14b-custom -f ./Modelfile

Удаление моделей: ollama rm

ollama rm qwen3:8b
# более новые версии принимают несколько моделей за один вызов:
ollama rm qwen3:8b qwen3:14b

ollama rm удаляет манифест модели и любые блоки данных, которые больше не используются другими моделями, поэтому общие базовые слои производных моделей сохраняются.

Команда Ollama show

ollama show печатает информацию о скачанной модели.

ollama show qwen3:14b

По умолчанию выводится карточка модели (архитектура, длина контекста, длина эмбеддинга, квантизация и т.д.). Есть шесть полезных флагов:

Флаг Что показывает
--modelfile Полный Modelfile, использованный для создания модели (строки FROM, SYSTEM, TEMPLATE, PARAMETER)
--parameters Только блок параметров (например, num_ctx, temperature, токены stop)
--system Только системный промпт, встроенный в модель
--template Только шаблон промпта
--license Лицензия модели
--verbose Расширенные метаданные, включая формы тензоров и количество слоев
# Точно увидеть, какой системный промпт и шаблон использовались для создания модели
ollama show deepseek-r1:8b --modelfile

# Проверить размер контекстного окна и другие параметры вывода
ollama show qwen3:14b --parameters

# Только системный промпт кастомизированной модели
ollama show mymodel --system

# Проверить лицензию перед использованием модели внутри продукта
ollama show llama3.2 --license

# Полная детальная информация на уровне тензоров (полезно при отладке квантизации)
ollama show llama3.2 --verbose

Вывод --modelfile особенно полезен перед кастомизацией модели: вы можете скопировать базовый Modelfile и редактировать его оттуда, а не писать с нуля.

Команда Ollama serve

ollama serve запускает локальный сервер Ollama (HTTP-порт по умолчанию 11434).

ollama serve

Команда “ollama serve” (пример, совместимый с systemd):

# устанавливаем переменные окружения, затем запускаем сервер
# делаем ollama доступным по IP-адресу хоста
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_NUM_PARALLEL=2
ollama serve

ollama start — это псевдоним для ollama serve, поэтому обе команды запускают один и тот же сервер.

Привязка к 0.0.0.0 открывает сервер для вашей сети без аутентификации — поставьте перед ним обратный прокси с TLS, как описано в Ollama за обратным прокси Caddy или Nginx, или обращайтесь к нему через приватный туннель, следуя паттернам удаленного доступа к Ollama. Для запуска сервера в контейнере см. Ollama в Docker Compose с GPU и постоянным хранилищем моделей.

Переменные окружения Ollama serve (полная справка)

Это переменные окружения, которые ollama serve читает при запуске (на текущий момент Ollama v0.33):

Переменная Что контролирует
OLLAMA_HOST IP-адрес и порт для сервера (по умолчанию 127.0.0.1:11434)
OLLAMA_CONTEXT_LENGTH Контекстное окно по умолчанию для всех моделей (по умолчанию масштабируется 4k/32k/256k в зависимости от доступной VRAM)
OLLAMA_KEEP_ALIVE Как долго модели остаются загруженными после последнего запроса (по умолчанию 5m)
OLLAMA_NUM_PARALLEL Максимальное количество параллельных запросов
OLLAMA_MAX_LOADED_MODELS Максимальное количество моделей, загруженных на один GPU
OLLAMA_MAX_QUEUE Максимальное количество запросов в очереди
OLLAMA_MODELS Путь к директории моделей
OLLAMA_ORIGINS Разделенный запятыми список разрешенных источников (CORS)
OLLAMA_FLASH_ATTENTION Включает flash attention
OLLAMA_KV_CACHE_TYPE Тип квантизации KV-кэша (по умолчанию f16; например, q8_0, q4_0)
OLLAMA_SCHED_SPREAD Всегда планирует модель на всех GPU, а не упаковывает на один
OLLAMA_GPU_OVERHEAD Резервирует часть VRAM на каждый GPU (в байтах) для неинференсных задач
OLLAMA_LOAD_TIMEOUT Как долго загрузка модели может висеть, прежде чем сдаться (по умолчанию 5m)
OLLAMA_MAX_TRANSFER_STREAMS Параллельные потоки передачи для скачивания/загрузки моделей (по умолчанию 4)
OLLAMA_NO_CLOUD Отключает облачные функции Ollama (удаленный инференс и веб-поиск)
OLLAMA_NOPRUNE Не очищать неиспользуемые блоки данных моделей при запуске

Например, чтобы увеличить контекстное окно по умолчанию для каждой модели:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Длина контекста по умолчанию в зависимости от VRAM

Когда OLLAMA_CONTEXT_LENGTH не установлена, сервер выбирает ступенчатое значение по умолчанию на основе общей VRAM вашего устройства (добавлено в Ollama v0.15.5):

Общая VRAM Длина контекста по умолчанию
< 24 GiB 4 096 токенов
24–48 GiB 32 768 токенов
≥ 48 GiB 262 144 токена

Ollama рекомендует как минимум 64 000 токенов для задач, требующих много контекста — веб-поиск, агенты и инструменты для кода, — и потребление памяти масштабируется с OLLAMA_NUM_PARALLEL, поэтому высокий уровень параллелизма в сочетании с большим контекстом по умолчанию может вытеснять слои модели из VRAM. Сервер логирует выбранное значение как vram-based default context при запуске.

Тип KV-кэша — это баланс между памятью и скоростью — квантизация KV-кэша до q8_0 примерно вдвое уменьшает его потребление VRAM и подходит для работы с длинным контекстом; наш тест KV-кэша на GPU 16GB для длинного контекста измеряет реальный эффект. OLLAMA_NUM_PARALLEL и OLLAMA_MAX_QUEUE подробно описаны в Как Ollama обрабатывает параллельные запросы.

Команда Ollama run

Запуск модели:

ollama run gpt-oss:20b

Эта команда запускает указанную модель и открывает интерактивный REPL для взаимодействия. Хотите понять, как Ollama управляет несколькими одновременными запросами? Узнайте больше о том, как Ollama обрабатывает параллельные запросы в нашем детальном анализе.

ollama run запускает модель в интерактивной сессии, поэтому в случае с gpt-oss:120b вы увидите что-то вроде:

$ ollama run gpt-oss:120b
>>> Отправьте сообщение (/? для справки)

вы можете вводить свои вопросы или команды, и модель будет отвечать.

>>> кто вы?
Thinking...
The user asks "who are you?" Simple question. Should respond as ChatGPT, an AI language model, trained by OpenAI, 
etc. Provide brief intro. Probably ask if they need help.
...done thinking.

I’m ChatGPT, an AI language model created by OpenAI. I’ve been trained on a wide range of text so I can help 
answer questions, brainstorm ideas, explain concepts, draft writing, troubleshoot problems, and much more. Think 
of me as a versatile virtual assistant—here to provide information, support, and conversation whenever you need 
it. How can I help you today?

>>> Отправьте сообщение (/? для справки)

Чтобы выйти из интерактивной сессии ollama, нажмите Ctrl+D, или вы можете ввести /bye, результат тот же:

>>> /bye
$ 

Примеры команды Ollama run

Чтобы запустить модель и задать один вопрос в неинтерактивном режиме:

printf "Give me 10 bash one-liners for log analysis.\n" | ollama run llama3.2

Если вы хотите видеть подробный ответ LLM в сессии ollama - запустите модель с параметром --verbose или -v:

$ ollama run gpt-oss:20b --verbose
>>> кто вы?
Thinking...
We need to respond to a simple question: "who are you?" The user is asking "who are you?" We can answer that we 
are ChatGPT, a large language model trained by OpenAI. We can also mention capabilities. The user likely expects 
a brief introduction. We'll keep it friendly.
...done thinking.

I’m ChatGPT, a large language model created by OpenAI. I’m here to help answer questions, offer explanations, 
brainstorm ideas, and chat about a wide range of topics—everything from science and history to creative writing 
and everyday advice. Just let me know what you’d like to talk about!

total duration:       1.118585707s
load duration:        106.690543ms
prompt eval count:    71 token(s)
prompt eval duration: 30.507392ms
prompt eval rate:     2327.30 tokens/s
eval count:           132 token(s)
eval duration:        945.801569ms
eval rate:            139.56 tokens/s
>>> /bye
$ 

Да, все верно, это 139 токенов в секунду. gpt-oss:20b очень быстрый. Если у вас, как и у меня, есть GPU с 16GB VRAM, смотрите детали сравнения скорости LLM в Лучшие LLM для Ollama на GPU с 16GB VRAM.

Совет: Если вы хотите, чтобы модель была доступна по HTTP для нескольких приложений, запустите сервер с ollama serve и используйте API-клиент вместо длинных интерактивных сессий.

Флаги Ollama run (полная справка)

Флаг Описание
--verbose / -v Печатает статистику времени (токены/сек, время загрузки и т.д.) после каждого ответа
--think Включает или настраивает режим рассуждений: --think, --think=false или уровень, например --think=low
--hidethinking Подавляет трассировку рассуждений, все еще используя модель с рассуждениями — полезно в скриптах
--keepalive Длительность сохранения модели в загруженном состоянии, например --keepalive 10m
--format string Принудительно задает формат вывода, например json
--nowordwrap Отключает автоматический перенос строк — полезно при передаче вывода в скрипты
--insecure Разрешает подключение к реестру по HTTP (для частных/self-hosted реестров)
--truncate Модели эмбеддингов: усекать входные данные, превышающие длину контекста (по умолчанию true); установите --truncate=false, чтобы выдать ошибку вместо этого
--dimensions Модели эмбеддингов: усекать выходные эмбеддинги до этой размерности

Две переменные окружения влияют на сам ollama run: OLLAMA_EDITOR задает редактор, открываемый Ctrl+G в REPL, и OLLAMA_NOHISTORY=1 отключает сохранение истории readline.

Модели с рассуждениями: –think и –hidethinking

Модели, способные к рассуждениям (deepseek-r1, qwen3, gpt-oss и другие), по умолчанию думают в CLI, и трассировка рассуждений печатается перед ответом:

ollama run qwen3:14b --think=false "Answer straight, no reasoning trace"
ollama run deepseek-r1:8b --hidethinking "Is 9.9 bigger or 9.11?"   # думает, но печатает только ответ

Модели GPT-OSS принимают уровни вместо булевого значения — они настраивают длину трассировки, а не включают или выключают ее:

ollama run gpt-oss:20b --think=low "Draft a headline"

Внутри интерактивной сессии переключайте режим рассуждений с помощью /set think и /set nothink.

Переопределение параметров модели без Modelfile

В старых статьях в блогах показан флаг -p / --parameters для ollama run; он больше не существует в текущих релизах. Поддерживаемый способ изменить параметры вывода без редактирования Modelfile — это REPL:

$ ollama run qwen3:14b
>>> /set parameter num_ctx 32768
Set parameter 'num_ctx' to '32768'
>>> /save qwen3-14b-32k
>>> /bye

/set parameter применяется только к текущей сессии, а /save сохраняет его в новую локальную модель, которую вы можете запустить позже с помощью ollama run qwen3-14b-32k. /show parameters выводит список настроек в текущей сессии. Для всех моделей на сервере OLLAMA_CONTEXT_LENGTH в ollama serve изменяет контекстное окно по умолчанию глобально.

Общие параметры, которые можно установить таким образом:

Параметр Эффект
num_ctx Размер контекстного окна в токенах (по умолчанию сервера 4096, если OLLAMA_CONTEXT_LENGTH не указано иное)
temperature Случайность: 0 = детерминированный, 1 = творческий
top_p Порог ядерного выборки
top_k Ограничивает словарь топ-K токенами
num_predict Максимальное количество токенов для генерации (-1 = безлимитно)
repeat_penalty Штраф за повторение токенов

ollama show <model> сообщает длину контекста, которую модель может поддерживать, тогда как ollama ps показывает фактически выделенный контекст для загруженного экземпляра — см. команда Ollama ps, если длинный промпт, похоже, молча усекается.

Мультистроковый ввод в REPL

Оберните текст в тройные кавычки ("""), чтобы ввести многострочный промпт без преждевременной отправки:

>>> """Summarise this in one sentence:
... The quick brown fox jumps over the lazy dog.
... It happened on a Tuesday.
... """

Для более длинных промптов Ctrl+G открывает текущий промпт в полном текстовом редакторе ($EDITOR, или то, на что указывает OLLAMA_EDITOR) и отправляет его при сохранении и выходе — удобно для итераций над длинным системным промптом (добавлено в Ollama v0.16).

Мультимодальные модели (изображения)

Для моделей с поддержкой зрения (например, gemma3, llava), передайте путь к изображению непосредственно в промпте:

ollama run gemma3 "What's in this image? /home/user/screenshot.png"

Генерация эмбеддингов через CLI

Модели эмбеддингов выводят массив JSON вместо текста. Передайте текст напрямую через конвейер для быстрых одноразовых эмбеддингов:

echo "Hello world" | ollama run nomic-embed-text

Два флага ollama run специфичны для моделей эмбеддингов: --dimensions 512 усекает выходной вектор до 512 измерений (полезно для моделей с поддержкой Матрёшки, таких как nomic-embed, когда вы хотите более мелкие векторы), а --truncate=false заставляет входные данные, более длинные, чем контекст модели, возвращать ошибку вместо молчаливого усеечения.

Для производственных нагрузок с эмбеддингами используйте REST-эндпоинт /api/embed или Python-клиент.

Принудительный вывод JSON (–format)

ollama run llama3.2 --format json "List 5 capital cities as JSON"

Модель получает инструкцию возвращать валидный JSON. Полезно при передаче вывода в jq или скрипт, ожидающий структурированные данные.

Команда Ollama stop

Эта команда останавливает указанную запущенную модель.

ollama stop llama3.1:8b-instruct-q8_0

Ollama автоматически выгружает модели после определенного времени. По умолчанию это 5 минут (OLLAMA_KEEP_ALIVE=5m); в более старых релизах Ollama использовалось 4 минуты. Если вы не хотите ждать оставшееся время, используйте команду ollama stop. При запуске модели вы также можете передать --keepalive в ollama run (например, --keepalive 30s, --keepalive -1, чтобы держать модель загруженной вечно), или вызвать API-эндпоинт /generate с параметром keep_alive=0, чтобы немедленно выгнать модель из VRAM — см. ниже описание и пример.

Команда Ollama ps

ollama ps показывает текущие запущенные модели и сессии (полезно для отладки «почему моя VRAM заполнена?»).

ollama ps

Пример вывода ollama ps приведен ниже:

NAME           ID              SIZE     PROCESSOR    CONTEXT    UNTIL
gpt-oss:20b    17052f91a42e    14 GB    100% GPU     4096       4 minutes from now

Колонка CONTEXT — это контекст, фактически выделенный для этого загруженного экземпляра. Он отличается от ollama show <model>, который сообщает длину контекста, которую поддерживает модель — если модель молча усекает ваши длинные промпты, ollama ps — это команда, которая раскрывает реальное значение во время выполнения.

Здесь, на моем ПК, gpt-oss:20b отлично помещается в 16GB VRAM моего GPU, и занимает только 14GB.

Если я выполню ollama run gpt-oss:120b, а затем вызову ollama ps, результат не будет таким радужным: 78% слоев находятся на CPU, и это всего лишь с контекстным окном 4096 токенов — потребление памяти будет расти дальше, если я увеличу контекст.

NAME            ID              SIZE     PROCESSOR          CONTEXT    UNTIL
gpt-oss:120b    a951a23b46a1    66 GB    78%/22% CPU/GPU    4096       4 minutes from now

Команда Ollama launch (интеграции с ИИ для кода)

ollama launch — это команда, введенная в Ollama v0.15 (январь 2026), которая обеспечивает настройку популярных ИИ-ассистентов для кода в один клик без дополнительной конфигурации, работающие с вашим локальным сервером Ollama.

Зачем использовать ollama launch?

До появления ollama launch настройка агента для кода, такого как Claude Code или Codex, с локальным бэкендом Ollama означала ручную установку переменных окружения, указание инструмента на правильный API-эндпоинт и выбор совместимой модели. ollama launch делает все это за вас интерактивно.

Если вы уже запускаете Ollama локально и хотите агента для написания кода, не платя за API-вызовы и не отправляя код в облако, ollama launch — самый быстрый путь к этому.

Поддерживаемые интеграции

Список значительно вырос по сравнению с четырьмя интеграциями версии v0.15. На текущий момент Ollama v0.33, ollama launch поддерживает:

Интеграция Что это
claude Claude Code от Anthropic — агент для написания кода
codex Codex CLI от OpenAI, ассистент для написания кода
chatgpt Desktop-приложение ChatGPT, настроенное на ваш локальный сервер
copilot GitHub Copilot CLI
cline Cline CLI агент для написания кода
droid AI-агент для написания кода от Factory
opencode Open-source ассистент для написания кода
openclaw Агент OpenClaw (автоматически устанавливается и настраивается при первом запуске)
hermes / hermes-desktop Агент Hermes, CLI и desktop
dsh DeepSeek Harness
kimi Kimi Code CLI
qwen Qwen Code
muse Muse Code
pi Pi
vscode VS Code
omp, pool Инструменты для кода OMP и Pool

Базовое использование

# Интерактивный выбор — выберите интеграцию и модель из меню
# (выбор модели всегда показывается начиная с v0.16.3)
ollama launch

# Запуск конкретной интеграции напрямую
ollama launch claude

# Запуск с конкретной моделью
ollama launch claude --model qwen3-coder

# Настройка интеграции без запуска (полезно для проверки настроек)
ollama launch droid --config

# Сброс интеграции к ее профилю по умолчанию
ollama launch codex --restore

# Передача дополнительных аргументов в интеграцию после --
ollama launch codex -- --sandbox workspace-write

--yes (-y) автоматически отвечает на запросы подтверждения, что полезно в скриптах и процессах онбординга.

Рекомендуемые модели

Агентам для кода требуется большое контекстное окно, чтобы удерживать контекст целых файлов и историю многоходового диалога. Ollama рекомендует модели с контекстом не менее 64 000 токенов:

Модель Примечания
qwen3-coder Мощная производительность в коде, длинный контекст, работает локально
glm-4.7-flash Быстрый локальный вариант
devstral:24b Модель от Mistral, сфокусированная на коде

Если ваша GPU не может вместить модель, Ollama также предлагает облачные варианты (например, qwen3-coder:480b-cloud), которые интегрируются так же, но направляют инференс в облачный слой Ollama — требуется ollama signin.

Пример: локальный запуск Claude Code с Ollama

# 1. Убедитесь, что модель доступна
ollama pull qwen3-coder

# 2. Запустите Claude Code против нее
ollama launch claude --model qwen3-coder

Ollama устанавливает необходимые переменные окружения и запускает Claude Code, указывая на http://localhost:11434 автоматически. Затем вы можете использовать Claude Code точно так же, как обычно — единственное отличие в том, что инференс происходит на вашем собственном оборудовании.

Регулировки производительности (OLLAMA_NUM_PARALLEL)

Если вы видите очередь или таймауты под нагрузкой, первая настройка, которую стоит выучить, — OLLAMA_NUM_PARALLEL.

  • OLLAMA_NUM_PARALLEL = количество запросов, которые Ollama выполняет параллельно.
  • Более высокое значение может увеличить пропускную способность, но может увеличить давление на VRAM и скачки задержек.
  • Запросы, поступающие, когда все параллельные слоты заняты, попадают в очередь; ее глубина ограничена OLLAMA_MAX_QUEUE.

Быстрый пример:

OLLAMA_NUM_PARALLEL=2 ollama serve

Для полного объяснения (включая стратегии настройки и режимы отказа), см.:

Освобождение модели Ollama из VRAM (keep_alive)

Когда модель загружается в VRAM (память GPU), она остается там даже после того, как вы закончили с ней. Чтобы явно освободить модель из VRAM и высвободить память GPU, вы можете отправить запрос в API Ollama с keep_alive: 0.

  • Освобождение модели из VRAM с использованием curl:
curl http://localhost:11434/api/generate -d '{"model": "MODELNAME", "keep_alive": 0}'

Замените MODELNAME на ваше фактическое имя модели, например:

curl http://localhost:11434/api/generate -d '{"model": "qwen3:14b", "keep_alive": 0}'
  • Освобождение модели из VRAM с использованием Python:
import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={'model': 'qwen3:14b', 'keep_alive': 0}
)

Это особенно полезно, когда:

  • Вам нужно освободить память GPU для других приложений
  • Вы запускаете несколько моделей и хотите управлять использованием VRAM
  • Вы закончили работу с большой моделью и хотите немедленно освободить ресурсы

Примечание: Параметр keep_alive контролирует, как долго (в секундах) модель остается загруженной в памяти после последнего запроса. Установка его в 0 немедленно выгружает модель из VRAM, отрицательное значение (например, -1) держит модель загруженной вечно, а строка длительности (например, 10m, 24h) также принимается. Глобальное значение по умолчанию для сервера — OLLAMA_KEEP_ALIVE=5m, и keep_alive для каждого запроса всегда переопределяет его.

Если вы предпочитаете полностью избежать абстракционного слоя Ollama и хотите прямой контроль над тем, какая модель GGUF резидентна в любой момент, режим роутера llama-server описывает нативный для llama.cpp подход к динамическому переключению моделей.

Кастомизация моделей Ollama (системный промпт, Modelfile)

  • Установка системного промпта: В REPL Ollama вы можете установить системный промпт для кастомизации поведения модели:

    >>> /set system For all questions asked answer in plain English avoiding technical jargon as much as possible
    >>> /save ipe
    >>> /bye
    

    Затем запустите кастомизированную модель:

    ollama run ipe
    

    Это устанавливает системный промпт и сохраняет модель для будущего использования.

  • Создание файла кастомной модели: Создайте текстовый файл (например, custom_model.txt) со следующей структурой:

    FROM llama3.1
    PARAMETER num_ctx 32768
    SYSTEM [Здесь ваши кастомные инструкции]
    

    Затем выполните:

    ollama create mymodel -f custom_model.txt
    ollama run mymodel
    

    Это создает кастомизированную модель на основе инструкций в файле. ollama create также может квантизировать во время сборки — -q q4_K_M создает GGUF Q4_K_M из неквантованного (safetensors) источника, --draft-quantize задает квантизацию для черновой (модели спекулятивного декодирования) модели, а --experimental включает функции создания моделей safetensors, которые все еще помечены как экспериментальные.

Ollama signin и signout (аутентификация в реестре)

ollama signin
ollama signout

ollama signin аутентифицирует вашу локальную установку Ollama в реестре Ollama на ollama.com. После входа клиент сохраняет учетные данные локально и автоматически повторно использует их для последующих команд.

Что открывает signin:

  • Скачивание и загрузка частных моделей из вашего аккаунта или организации.
  • Использование облачных моделей (например, qwen3-coder:480b-cloud), которые слишком велики для локального запуска.
  • Публикация моделей в реестре с помощью ollama push.

Альтернатива: аутентификация с помощью API-ключа

Если вы запускаете Ollama в CI-конвейере или на headless-сервере, где интерактивный ollama signin непрактичен, создайте API-ключ в настройках вашего аккаунта Ollama и откройте его как переменную окружения:

export OLLAMA_API_KEY=ollama_...
ollama pull myorg/private-model

Переменная OLLAMA_API_KEY автоматически подхватывается каждой командой Ollama и API-запросом — не нужно выполнять ollama signin на каждой машине.

Использование команды Ollama run с файлами (суммаризация, перенаправление)

  • Суммаризация текста из файла:

    ollama run llama3.2 "Summarize the content of this file in 50 words." < input.txt
    

    Эта команда суммаризирует содержимое input.txt, используя указанную модель.

  • Запись ответов модели в файл:

    ollama run llama3.2 "Tell me about renewable energy." > output.txt
    

    Эта команда сохраняет ответ модели в output.txt.

Сценарии использования Ollama CLI (генерация текста, анализ)

  • Генерация текста:

    • Суммаризация большого текстового файла:
      ollama run llama3.2 "Summarize the following text:" < long-document.txt
      
    • Генерация контента:
      ollama run llama3.2 "Write a short article on the benefits of using AI in healthcare." > article.txt
      
    • Ответы на конкретные вопросы:
      ollama run llama3.2 "What are the latest trends in AI, and how will they affect healthcare?"
      
    • Одноразовые ответы без трассировки рассуждений (на моделях с рассуждениями):
      ollama run qwen3:14b --think=false --hidethinking "What are the latest trends in AI, and how will they affect healthcare?"
      
  • Обработка и анализ данных:

    • Классификация текста на позитивный, негативный или нейтральный сентимент:
      ollama run llama3.2 "Analyze the sentiment of this customer review: 'The product is fantastic, but delivery was slow.'"
      
    • Категоризация текста в заранее определенные категории: Используйте аналогичные команды для классификации или категоризации текста на основе заранее определенных критериев.

Использование Ollama с Python (клиент и API)

  • Установка Python-библиотеки Ollama:
    pip install ollama
    
  • Генерация текста с использованием Python:
    import ollama
    
    response = ollama.generate(model='gemma:2b', prompt='what is a qubit?')
    print(response['response'])
    
    Этот фрагмент кода генерирует текст с использованием указанной модели и промпта.

Для продвинутой интеграции с Python изучите использование Web Search API Ollama в Python, где рассматриваются возможности веб-поиска, вызов инструментов и интеграция с MCP-серверами.

Ищете веб-интерфейс? Open WebUI предоставляет self-hosted интерфейс с возможностями RAG и поддержкой нескольких пользователей.

Полезные ссылки

Конфигурация и управление

Альтернативы и сравнения

Производительность и оборудование

Интеграция и разработка

Подписаться

Получайте новые материалы про системы, инфраструктуру и AI engineering.