Mover los modelos de Ollama a una ubicación diferente

Después de instalar ollama, es mejor reconfigurar ollama para guardarlos en la nueva ubicación de inmediato. Así, cuando descarguemos un nuevo modelo, no se descargará en la ubicación anterior.

Sobre Ollama

Ollama es una interfaz de texto para Modelos de IA LLM y una API que también puede alojarlos. Para una comparación más amplia de Ollama con vLLM, Docker Model Runner, LocalAI y proveedores en la nube, incluido el costo y las compensaciones de infraestructura, consulte Alojamiento de LLM: comparación de infraestructuras local, autoalojada y en la nube.

Instalar Ollama

Vaya a https://ollama.com/download

Para instalar Ollama en Linux:

curl -fsSL https://ollama.com/install.sh | sh

Ollama para Windows está en la página: https://ollama.com/download/windows Ollama para Mac también está ahí: https://ollama.com/download/macOllamaSetup.exe

Descargar, listar y eliminar modelos de Ollama

Para descargar algunos modelos de Ollama: Vaya a la biblioteca de Ollama (https://ollama.com/library) y busque el modelo que necesita, ahí también puede encontrar las etiquetas y los tamaños de los modelos.

Luego ejecute:

ollama pull gemma2:latest

# O consiga uno ligeramente más inteligente que aún cabe bien en 16GB de VRAM:
ollama pull gemma2:27b-instruct-q3_K_S

# O: 
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Para verificar los modelos que Ollama tiene en el repositorio local:

ollama list

Para el resto del conjunto de comandos de uso diario, como ejecutar modelos, detenerlos y las variables de entorno de ollama serve, consulte la hoja de referencia de la CLI de Ollama.

Para eliminar un modelo innecesario:

ollama rm qwen2:7b-instruct-q8_0 # por ejemplo

Ubicación de los modelos de Ollama

Por defecto, los archivos de los modelos se guardan en:

• Windows: C:\Users%username%.ollama\models
• Linux: /usr/share/ollama/.ollama/models
• macOS: ~/.ollama/models

La misma preocupación por el almacenamiento aparece cuando Ollama se ejecuta en contenedores: se desea que los modelos y el estado del servidor estén en un volumen con nombre o una unidad montada (y opcionalmente OLLAMA_MODELS cuando el diseño debe diferir de la ruta predeterminada /root/.ollama en la imagen oficial). Para un diseño completo de Compose con reserva de GPU, OLLAMA_HOST, actualizaciones y patrones de reversión, consulte Ollama en Docker Compose con GPU y almacenamiento persistente de modelos.

Configurar la ruta de los modelos de Ollama en Windows

Para crear una variable de entorno en Windows, puede seguir estas instrucciones:

• Abra la configuración de Windows.
• Vaya a Sistema.
• Seleccione Acerca de
• Seleccione Configuración avanzada del sistema.
• Vaya a la pestaña Avanzado.
• Seleccione Variables de entorno…
• Haga clic en Nuevo…
• Y cree una variable llamada OLLAMA_MODELS que apunte a donde desee guardar los modelos

Mover los modelos de Ollama en Linux

Edite los parámetros del servicio systemd de ollama

sudo systemctl edit ollama.service

o

sudo xed /etc/systemd/system/ollama.service

Esto abrirá un editor.

Para cada variable de entorno, agregue una línea Environment debajo de la sección [Service]:

[Service]
Environment="OLLAMA_MODELS=/lugar- especial/ollama/models"

Guarde y salga.

También hay parámetros de Usuario y Grupo, que deben tener acceso a esta carpeta.

Recargue systemd y reinicie Ollama:

sudo systemctl daemon-reload
sudo systemctl restart ollama

si algo salió mal

systemctl status ollama.service
sudo journalctl -u ollama.service

Almacenar archivos en NTFS y la sobrecarga

Tenga en cuenta que si está ejecutando Linux y mantiene sus modelos en una partición formateada en NTFS, sus modelos se cargarán mucho más lento, más de un 20 % más lento.

Instalar Ollama en Windows en una carpeta específica

Junto con los modelos

.\OllamaSetup.exe /DIR=D:\OllamaDir

Exponer la API de Ollama a la red interna

Interna aquí significa red local.

Agregue a la configuración del servicio:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Esto expone la API HTTP simple en su red. Para HTTPS automatizado, transmisión y proxying de WebSocket correctos a través de Caddy o Nginx, y endurecimiento del borde (tiempos de espera, búferes, autenticación opcional frente a la API), use Ollama detrás de un proxy inverso con Caddy o Nginx para transmisión HTTPS.

Para acceder a Ollama desde dispositivos remotos sin abrir puertos públicos, use una superposición privada (Tailscale) o WireGuard; consulte Acceso remoto a Ollama a través de Tailscale o WireGuard, sin puertos públicos.

Para ver cómo se integra Ollama con otras opciones de LLM locales y en la nube, consulte nuestra guía Alojamiento de LLM: comparación de infraestructuras local, autoalojada y en la nube.

Enlaces útiles

• Prueba: Cómo Ollama usa los núcleos de rendimiento y eficiencia de Intel CPU
• Cómo Ollama maneja las solicitudes paralelas
• Rendimiento de LLM y carriles PCIe: consideraciones clave
• Comparación de velocidad de rendimiento de LLM
• Comparando las capacidades de resumen de LLM
• Escribir indicaciones efectivas para LLM
• Autoalojar Perplexica - con Ollama
• Proveedores de LLM en la nube