Где находится расположение моделей Ollama в Ubuntu?

/usr/share/ollama/.ollama/models

Где находится каталог моделей Ollama в Windows?

C:\Users%username%.ollama\models

Где Ollama хранит модели в системах на базе Ubuntu?

Расположение моделей Ollama в Ubuntu: /usr/share/ollama/.ollama/models

Где Ollama хранит модели в Windows?

Расположение моделей Ollama в Windows: C:\Users%username%.ollama\models

Как Ollama сравнивается с другими способами размещения LLM?

В нашем руководстве по хостингу LLM мы сравниваем Ollama, vLLM, Docker Model Runner, LocalAI и облачные провайдеры, учитывая компромиссы между стоимостью и инфраструктурой.

Где можно почитать об альтернативах Ollama для локальных LLM?

Обзор хостинга LLM сравнивает Ollama, vLLM, LocalAI, Docker Model Runner и облачные варианты.

Перемещение моделей Ollama в другое расположение

Файлы моделей LLM в Ollama занимают много места.

Содержимое страницы

После установки Ollama лучше сразу перенастроить Ollama, чтобы хранить их в новом месте. Таким образом, после загрузки новой модели она не будет скачиваться в старое расположение.

Умная лама в шляпе что-то делает в серверной

О программе Ollama

Ollama — это текстовый фронтенд для моделей ИИ LLM и API, которое может их хостить. Для более подробного сравнения Ollama с vLLM, Docker Model Runner, LocalAI и облачными провайдерами — включая компромиссы по стоимости и инфраструктуре — см. Хостинг LLM: локальные, self-hosted и облачная инфраструктура в сравнении.

Установка Ollama

Перейдите на https://ollama.com/download

Чтобы установить Ollama в Linux:

curl -fsSL https://ollama.com/install.sh | sh

Ollama для Windows находится на странице: https://ollama.com/download/windows Ollama для Mac тоже есть там: https://ollama.com/download/macOllamaSetup.exe

Загрузка, список и удаление моделей Ollama

Чтобы скачать несколько моделей Ollama: Перейдите в Ollama Library (https://ollama.com/library) и найдите нужную модель, там вы также можете найти теги и размеры моделей.

Затем выполните:

ollama pull gemma2:latest

# Или получите чуть более умную, которая всё равно хорошо помещается в 16GB VRAM:
ollama pull gemma2:27b-instruct-q3_K_S

# Или: 
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Чтобы проверить модели, которые есть в локальном репозитории Ollama:

ollama list

Остальной набор повседневных команд — запуск моделей, остановка, переменные окружения ollama serve — смотрите в шпаргалке по CLI Ollama.

Чтобы удалить ненужную модель:

ollama rm qwen2:7b-instruct-q8_0 # например

Расположение моделей Ollama

По умолчанию файлы моделей хранятся:

Windows: C:\Users%username%.ollama\models
Linux: /usr/share/ollama/.ollama/models
macOS: ~/.ollama/models

Та же проблема с хранением возникает, когда Ollama работает в контейнерах: вы хотите, чтобы модели и состояние сервера были на именованном томе или bind mount (и, при необходимости, OLLAMA_MODELS, если структура должна отличаться от пути по умолчанию /root/.ollama в официальном образе). Для полной конфигурации Compose с резервированием GPU, OLLAMA_HOST, обновлениями и паттернами отката смотрите Ollama в Docker Compose с GPU и постоянным хранилищем моделей.

Настройка пути к моделям Ollama в Windows

Чтобы создать переменную окружения в Windows, вы можете следовать этим инструкциям:

Откройте Параметры Windows.
Перейдите в «Система».
Выберите «О системе»
Выберите «Дополнительные параметры системы».
Перейдите на вкладку «Дополнительно».
Выберите «Переменные среды…».
Нажмите «Создать…»
И создайте переменную под названием OLLAMA_MODELS, указав путь, куда вы хотите сохранить модели

Перемещение моделей Ollama в Linux

Отредактируйте параметры системного сервиса ollama

sudo systemctl edit ollama.service

или

sudo xed /etc/systemd/system/ollama.service

Это откроет редактор.

Для каждой переменной окружения добавьте строку Environment в разделе [Service]:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Сохраните и выйдите.

Есть также параметры User и Group, у них должен быть доступ к этой папке.

Перезагрузите systemd и перезапустите Ollama:

sudo systemctl daemon-reload
sudo systemctl restart ollama

если что-то пошло не так

systemctl status ollama.service
sudo journalctl -u ollama.service

Потери при хранении файлов на NTFS

Пожалуйста, имейте в виду, что если вы используете Linux и храните модели на разделении с форматированием NTFS, загрузка ваших моделей будет происходить значительно медленнее — более чем на 20%.

Использование CPU при монтировании ntfs

Установка Ollama в Windows в конкретную папку

Вместе с моделями

.\OllamaSetup.exe /DIR=D:\OllamaDir

Публикация API Ollama во внутренней сети

Внутренняя здесь означает локальную сеть.

Добавьте в конфигурацию сервиса:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Это откроет доступ к простому HTTP API в вашей сети. Для автоматического HTTPS, правильной передачи потоков и WebSocket-проксирования через Caddy или Nginx, а также защиты на границе (таймауты, буферизация, факультативная аутентификация перед API), используйте Ollama за обратным прокси с Caddy или Nginx для HTTPS-потоков.

Чтобы получить доступ к Ollama с удаленных устройств без открытия публичных портов, используйте частый оверлей (Tailscale) или WireGuard; см. Удаленный доступ к Ollama через Tailscale или WireGuard, без публичных портов.

Чтобы увидеть, как Ollama сочетается с другими локальными и облачными вариантами LLM, ознакомьтесь с нашим руководством Хостинг LLM: локальные, self-hosted и облачная инфраструктура в сравнении.