Self-Hosting

He probado cómo funciona OpenCode con varios modelos LLM alojados localmente en Ollama, y para comparar, he añadido algunos modelos gratuitos de OpenCode Zen.

OpenHands es una plataforma de código abierto e agnóstica a modelos para agentes de desarrollo de software impulsados por IA. Permite que un agente se comporte más como un compañero de codificación que como una simple herramienta de autocompletado.

LocalAI es un servidor de inferencia autohospedado y local-first diseñado para comportarse como una API de OpenAI de reemplazo directo para ejecutar cargas de trabajo de IA en tu propio hardware (portátil, estación de trabajo o servidor local).

La inferencia de LLM parece “solo otra API” — hasta que aparecen picos de latencia, se forman colas y tus GPUs se quedan en un 95% de memoria sin una explicación obvia.

OpenClaw es un asistente de IA autohospedado diseñado para ejecutarse con entornos locales de LLM como Ollama o con modelos basados en la nube como Claude Sonnet.

AWS S3 sigue siendo la “opción por defecto” para el almacenamiento de objetos: es completamente gestionado, ofrece consistencia fuerte y está diseñado para una durabilidad y disponibilidad extremadamente altas.
Garage y MinIO son alternativas autohospedadas compatibles con S3: Garage está diseñado para clusters pequeños a medianos distribuidos geográficamente, mientras que MinIO se centra en una amplia cobertura de características de la API S3 y en un alto rendimiento en implementaciones más grandes.

Garage es un sistema de almacenamiento de objetos compatible con S3, de código abierto y autohospedado, diseñado para despliegues pequeños a medianos, con un fuerte énfasis en la resiliencia y la distribución geográfica.

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.

Autohospedaje de LLMs mantiene los datos, modelos e inferencia bajo su control: un camino práctico hacia la soberanía en IA para equipos, empresas y naciones.

Ejecutar modelos de lenguaje grandes localmente te brinda privacidad, capacidad para trabajar sin conexión y cero costos de API. Este benchmark revela exactamente lo que se puede esperar de 14 modelos populares LLMs en Ollama en una RTX 4080.

El ecosistema de Go continúa prosperando con proyectos innovadores que abarcan herramientas de IA, aplicaciones autohospedadas y infraestructura para desarrolladores. Este análisis examina los repositorios de Go más trending en GitHub de este mes.

Hoy nos estamos enfocando en las GPUs de consumo de alto nivel y módulos de RAM. Específicamente, me estoy enfocando en precios de RTX-5080 y RTX-5090, y 32GB (2x16GB) DDR5 6000.

Open WebUI es una poderosa, extensible y rica en características interfaz web autogestionada para interactuar con modelos de lenguaje grandes.

vLLM es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para Modelos de Lenguaje Grandes (LLM), desarrollado por el Laboratorio de Computación Sky de la Universidad de California, Berkeley.

El
NVIDIA DGX Spark
(GB10 Grace Blackwell) ahora está
disponible en Australia
en principales retailers de PC con stock local.
Si has estado siguiendo la
disponibilidad y precios globales del DGX Spark,
te interesará saber que los precios en Australia van desde $6,249 a $7,999 AUD según la configuración de almacenamiento y el retailer.

Cognee es un marco de Python para construir grafos de conocimiento a partir de documentos utilizando LLMs. ¿Pero funciona con modelos autohospedados?