SelfHosting

Vane es una de las entradas más pragmáticas en el espacio de “búsqueda de IA con citas”: un motor de respuestas autoalojado que combina la recuperación web en vivo con LLM locales o en la nube, manteniendo toda la pila bajo tu control.

Hermes Agent es un asistente de IA autoalojado y agnóstico en cuanto a modelos, que se ejecuta en una máquina local o en un VPS de bajo costo, funciona a través de interfaces de terminal y mensajería, y mejora con el tiempo convirtiendo tareas repetidas en habilidades reutilizables.

Text Generation Inference (TGI) tiene una energía muy específica. No es el último en llegar en la calle de la inferencia, pero es el que ya aprendió cómo se rompen las cosas en producción -

SGLang es un marco de servicio de alto rendimiento para grandes modelos de lenguaje y modelos multimodales, diseñado para ofrecer inferencia de baja latencia y alto rendimiento en todo, desde una sola GPU hasta clústeres distribuidos.

Pronto estarás manejando vLLM, llama.cpp y más, cada stack en su propio puerto. Todo lo que viene aguas abajo aún quiere una URL base /v1; de lo contrario, seguirás moviendo puertos, perfiles y scripts de una sola vez. llama-swap es el proxy /v1 antes de esos stacks.

La mayoría de las configuraciones locales de IA comienzan con un modelo y un runtime.

Sigo volviendo a llama.cpp para la inferencia local, ya que te ofrece un control que Ollama y otros abstraen, y simplemente funciona. Es fácil ejecutar modelos GGUF de forma interactiva con llama-cli o exponer una API HTTP compatible con OpenAI con llama-server.

La mayoría de las configuraciones de IA local comienzan de la misma manera: un modelo, un entorno de ejecución y una interfaz de chat.

Elegir el CMS sin cabeza adecuado puede marcar la diferencia en tu estrategia de gestión de contenido. Vamos a comparar tres soluciones de código abierto que influyen en cómo los desarrolladores construyen aplicaciones impulsadas por contenido.

Nextcloud es la plataforma de almacenamiento en la nube y colaboración de código abierto y autoalojada líder que te pone en completo control de tus datos.

Aquí se listará algunas herramientas de codificación asistida por IA y Asistentes de Codificación con IA y sus ventajas.

Aquí tienes una hoja de referencia de Docker que cubre los comandos más importantes y conceptos, desde la instalación hasta la ejecución de contenedores y la limpieza:

Cuando comencé a experimentar con LLM, las interfaces de usuario para ellos estaban en pleno desarrollo y ahora algunas de ellas son realmente buenas.