LLM

LocalAI QuickStart: Ejecute LLM compatibles con OpenAI localmente

LocalAI QuickStart: Ejecute LLM compatibles con OpenAI localmente

Ejecuta APIs compatibles con OpenAI de forma autohospedada con LocalAI en minutos.

LocalAI es un servidor de inferencia autohospedado y local-first diseñado para comportarse como una API de OpenAI de reemplazo directo para ejecutar cargas de trabajo de IA en tu propio hardware (portátil, estación de trabajo o servidor local).

Iniciación rápida de llama.cpp con CLI y servidor

Iniciación rápida de llama.cpp con CLI y servidor

Cómo instalar, configurar y usar OpenCode

Sigo volviendo a llama.cpp para la inferencia local, ya que te ofrece un control que Ollama y otros abstraen, y simplemente funciona. Es fácil ejecutar modelos GGUF de forma interactiva con llama-cli o exponer una API HTTP compatible con OpenAI con llama-server.

Observabilidad para sistemas de LLM: métricas, trazas, registros y pruebas en producción

Observabilidad para sistemas de LLM: métricas, trazas, registros y pruebas en producción

Estrategia de observabilidad integral para la inferencia de LLM y aplicaciones de LLM

Los sistemas de LLM fallan de maneras que la monitorización de APIs tradicional no puede detectar: las colas se llenan en silencio, la memoria de la GPU se satura mucho antes de que la CPU parezca estar ocupada, y la latencia se dispara en la capa de agrupamiento (batching) en lugar de en la capa de aplicación.