Gdzie znajduje się lokalizacja modelu Ollama w Ubuntu?

/usr/share/ollama/.ollama/models

Gdzie znajduje się lokalizacja modelu Ollama w systemie Windows?

C:\Users%username%.ollama\models

Gdzie Ollama przechowuje modele na systemach opartych na Ubuntu?

Lokalizacja modeli Ollama na systemie Ubuntu to /usr/share/ollama/.ollama/models

Gdzie Ollama przechowuje modele w systemie Windows?

Lokalizacja modeli Ollama na systemie Windows to C:\Users%username%.ollama\models

Jak Ollama porównuje się do innych metod hostowania modeli LLM?

Nasz przewodnik po hostingu LLM porównuje Ollama z vLLM, Docker Model Runner, LocalAI oraz dostawcami chmury, uwzględniając kompromisy związane z kosztami i infrastrukturą.

Gdzie mogę przeczytać o alternatywach dla Ollama do lokalnych modeli LLM?

Przegląd hostingu modeli LLM porównuje Ollama, vLLM, LocalAI, Docker Model Runner oraz opcje chmurowe.

Przenoszenie modeli Ollama w inne miejsce

Pliki modeli LLM w Ollama zajmują dużo miejsca

Page content

Po zainstalowaniu ollama lepiej jest natychmiast przełączyć ollama, aby przechowywał je w nowym miejscu. Dzięki temu po pobraniu nowego modelu nie zostanie on zapisany w starej lokalizacji.

Mądry lama w kapeluszu robi coś w serwerowni

O programie Ollama

Ollama to tekstowy frontend do modeli AI LLM oraz API, które może je hostować. Szersze porównanie Ollamy z vLLM, Docker Model Runner, LocalAI oraz dostawcami chmury — w tym kompromisów dotyczących kosztów i infrastruktury — znajdziesz w artykule Hostowanie LLM: Porównanie lokalnych, samodzielnego i chmurowej infrastruktury.

Instalacja Ollamy

Przejdź na https://ollama.com/download

Aby zainstalować Ollamę na systemie Linux:

curl -fsSL https://ollama.com/install.sh | sh

Ollama na Windows znajduje się na stronie: https://ollama.com/download/windows Ollama dla Mac również jest tam dostępna: https://ollama.com/download/macOllamaSetup.exe

Pobieranie, listowanie i usuwanie modeli Ollama

Aby pobrać modele Ollamy: Przejdź do Biblioteki Ollamy (https://ollama.com/library) i znajdź potrzebny model, tam możesz również znaleźć tagi modeli i ich rozmiary.

Następnie uruchom:

ollama pull gemma2:latest

# Albo pobierz nieco bardziej zaawansowany model, który nadal dobrze mieści się w 16 GB VRAM:
ollama pull gemma2:27b-instruct-q3_K_S

# Albo:
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Aby sprawdzić modele, które Ollama ma w lokalnym repozytorium:

ollama list

Pozostałe codzienne polecenia — uruchamianie modeli, ich zatrzymywanie oraz zmienne środowiskowe ollama serve — opisano w ściągawce CLI Ollamy.

Aby usunąć niepotrzebny model:

ollama rm qwen2:7b-instruct-q8_0 # na przykład

Lokalizacja modeli Ollamy

Domyślnie pliki modeli są przechowywane w:

Windows: C:\Users%username%.ollama\models
Linux: /usr/share/ollama/.ollama/models
macOS: ~/.ollama/models

Ten sam problem magazynowania pojawia się, gdy Ollama działa w kontenerach: modele i stan serwera powinny być przechowywane na nazwanym wolumenie lub montażu bind (opcjonalnie OLLAMA_MODELS, jeśli struktura ma różnić się od domyślnej ścieżki /root/.ollama w oficjalnym obrazie). Pełną konfigurację Compose z rezerwacją GPU, OLLAMA_HOST, aktualizacjami i mechanizmami wycofania znajdziesz w artykule Ollama w Docker Compose z GPU i trwałym przechowywaniem modeli.

Konfigurowanie ścieżki do modeli Ollamy w Windows

Aby utworzyć zmienną środowiskową w Windows, możesz postępować według tych instrukcji:

Otwórz Ustawienia Windows.
Przejdź do Sekcji System.
Wybierz Informacje
Wybierz Zaawansowane ustawienia systemu.
Przejdź do zakładki Zaawansowane.
Kliknij Zmienne środowiskowe…
Kliknij Nowa…
I utwórz zmienną o nazwie OLLAMA_MODELS wskazującą na miejsce, w którym chcesz przechowywać modele

Przenoszenie modeli Ollamy w systemie Linux

Edytuj parametry usługi systemd ollama

sudo systemctl edit ollama.service

lub

sudo xed /etc/systemd/system/ollama.service

Otworzy się edytor.

Dla każdej zmiennej środowiskowej dodaj linię Environment pod sekcją [Service]:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Zapisz i wyjdź.

Istnieją też parametry User i Group, które muszą mieć dostęp do tego folderu.

Przeładuj systemd i zrestartuj Ollamę:

sudo systemctl daemon-reload
sudo systemctl restart ollama

jeśli coś poszło nie tak

systemctl status ollama.service
sudo journalctl -u ollama.service

Przechowywanie plików na NTFS — dodatkowy koszt

Prosimy pamiętać, że jeśli używasz Linuksa i przechowujesz modele na partycji sformatowanej w systemie NTFS, Twoje modele będą ładować się znacznie wolniej — o ponad 20%.

Wykorzystanie CPU przez montowanie ntfs

Instalacja Ollamy w Windows w konkretnym folderze

Razem z modelami

.\OllamaSetup.exe /DIR=D:\OllamaDir

Ekspozycja API Ollamy na sieć wewnętrzną

„Wewnętrzna" oznacza tutaj sieć lokalną.

Dodaj do konfiguracji usługi:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Nadaje to dostęp do prostego API HTTP w Twojej sieci. W celu automatycznego HTTPS, poprawnego streamingu i proxy WebSocket przez Caddy lub Nginx oraz wzmacniania na krawędzi (timeouty, buforowanie, opcjonalna autoryzacja przed API), skorzystaj z artykułu Ollama za reverse proxy z Caddy lub Nginx dla strumieniowania HTTPS.

Aby uzyskać dostęp do Ollamy z urządzeń zdalnych bez otwierania publicznych portów, użyj prywatnego nakładkowego (Tailscale) lub WireGuard; więcej informacji w artykule Zdalny dostęp do Ollamy za pomocą Tailscale lub WireGuard bez publicznych portów.

Aby zobaczyć, jak Ollama wpisuje się w inne opcje lokalnych i chmurowych LLM, sprawdź nasz przewodnik Hostowanie LLM: Porównanie lokalnych, samodzielnego i chmurowej infrastruktury.