Selfhosting

Migrar un asistente de IA no es lo mismo que copiar la configuración de una aplicación. La parte difícil consiste en preservar la identidad, la memoria, el comportamiento de las herramientas, las tareas programadas y el acceso a los mensajes, evitando que dos pasarelas actúen como el mismo bot.

Ollama y llama.cpp a menudo se comparan como si fueran motores de inferencia rivales. La elección real es entre un servicio de modelos gestionado y un conjunto de herramientas que operas directamente.

ROCm y Vulkan aceleran tanto las GPU de AMD para el alojamiento local de LLM, pero no son intercambiables. La elección correcta depende del motor, la GPU y la carga de trabajo.

Un modelo puede publicitar una ventana de contexto de 128K y aun así fallar en 40K tokens en una GPU de 16 GB. El límite de la arquitectura nunca prometió que los pesos, la caché KV, los búferes de cálculo y el compositor del escritorio cabrían en tu tarjeta al mismo tiempo.

Cada llamada a la API parece una transacción sencilla, hasta que se acumulan lo suficiente como para que tus datos de ajuste fino, tus entornos de evaluación y tus esquemas de herramientas se adapten a un solo proveedor, momento en el cual cambiar deja de ser un ajuste de enrutamiento.

Un wiki de LLM falla cuando los datos antiguos siguen siendo plausibles, las contradicciones se vuelven pulidas y los resúmenes generados se desvían de sus fuentes.

Syncthing mantiene los archivos sincronizados entre los dispositivos que controlas, lo que lo convierte en una de las herramientas más prácticas para una infraestructura de conocimiento autoalojada que evita la dependencia de la nube.

El panorama del hardware para IA ha cambiado significativamente en 2026, con NVIDIA, AMD e Intel compitiendo por los desarrolladores que necesitan GPUs capaces de ejecutar modelos de lenguaje grandes (LLM) locales y cargas de trabajo de inferencia de IA.

Ejecutar Hermes Agent en un servidor sin interfaz gráfica (headless) mientras se conecta desde un cliente de escritorio en otra máquina requiere dos procesos de servidor y una conexión de cliente.

Docker Compose en un servidor Linux debe iniciarse al arranque, detenerse correctamente al apagarse y sobrevivir a los reinicios sin intervención manual.

La instalación de Docker en Ubuntu debería ser sencilla, pero en la práctica, varias opciones con forma de Docker compiten por el mismo nombre de comando, cada una con diferente empaquetado, comportamiento de actualización e implicaciones de seguridad.

Los fallos de APT son comunes en máquinas Ubuntu de larga vida útil, y suelen aparecer después de una actualización de versión, un cambio en un repositorio de terceros, la eliminación de un PPA, la instalación manual de un .deb o una instalación de paquetes interrumpida.

La memoria transforma a los asistentes de reactivos a persistentes, pero también es donde muchos sistemas se deterioran silenciosamente. Las encuestas argumentan que la división entre memoria a corto y largo plazo ya no es suficiente para la memoria de los agentes modernos; los SDK de OpenAI y LangGraph apuntan a una arquitectura más simple: memoria de trabajo, estado duradero y recuperación.

Los marcos de agentes de IA de código abierto están experimentando una explosión de popularidad en GitHub. Dos proyectos en el centro del ecosistema de sistemas de IA autoalojados — OpenClaw y Hermes Agent — se han adelantado tanto que el resto del campo compite por un distante tercer lugar.

Probé el rendimiento de la decodificación especulativa (Predicción Multitoken, MTP) en Qwen 3.6 27B y 35B en una RTX 4080 con 16 GB de VRAM.

Modo router de llama.cpp es uno de los cambios más útiles en llama-server en años. Finalmente ofrece a los operadores de LLM locales una experiencia de gestión de modelos cercana a la que las personas esperan de Ollama, manteniendo al mismo tiempo el rendimiento bruto y el control a bajo nivel que hacen que llama.cpp valga la pena usarlo en primer lugar.