AI

Ollama en Docker Compose con GPU y almacenamiento persistente de modelos

Ollama en Docker Compose con GPU y almacenamiento persistente de modelos

Servidor de Ollama con enfoque en composición, GPU y persistencia.

Ollama funciona muy bien en hardware sin intermediarios (bare metal). Se vuelve aún más interesante cuando lo tratas como un servicio: un punto de conexión estable, versiones fijas, almacenamiento persistente y una GPU que está disponible o no está.

LocalAI QuickStart: Ejecute LLM compatibles con OpenAI localmente

LocalAI QuickStart: Ejecute LLM compatibles con OpenAI localmente

Ejecuta APIs compatibles con OpenAI de forma autohospedada con LocalAI en minutos.

LocalAI es un servidor de inferencia autohospedado y local-first diseñado para comportarse como una API de OpenAI de reemplazo directo para ejecutar cargas de trabajo de IA en tu propio hardware (portátil, estación de trabajo o servidor local).

Inicio rápido de llama.cpp con CLI y servidor

Inicio rápido de llama.cpp con CLI y servidor

Ejecuta modelos GGUF con la CLI y el servidor

llama.cpp es un motor de inferencia en C/C++ para modelos GGUF: llama-cli para chat interactivo, llama-completion para prompts guiados por guion, y llama-server para una API HTTP compatible con OpenAI.