Self-Hosting

Modelos de Lenguaje Grande (LLMs) son potentes, pero en producción rara vez deseamos párrafos de texto libre. En su lugar, queremos datos predecibles: atributos, hechos u objetos estructurados que puedas ingresar en una aplicación. Eso es la Salida Estructurada de LLM.

Para los fans de KDE Plasma, dos distribuciones de Linux suelen surgir en las discusiones: Kubuntu y KDE Neon. Pueden parecer similares: ambas incluyen KDE Plasma como escritorio predeterminado, ambas están basadas en Ubuntu y ambas son amigables para los nuevos usuarios.

Aquí estoy comparando cómo mucho VRAM la nueva versión de Ollama asigna al modelo con la versión anterior de Ollama. La nueva versión es peor.

Este guía te guiará a través del proceso de cambiar la dirección IP estática en un servidor Ubuntu.

Ollama se ha convertido rápidamente en una de las herramientas más populares para ejecutar LLMs localmente. Su simple CLI y la gestión de modelos simplificada lo han convertido en una opción predilecta para los desarrolladores que desean trabajar con modelos de IA fuera de la nube.

Mumble es una aplicación de voz sobre IP (VoIP) gratuita y de código abierto diseñada principalmente para la comunicación de voz en tiempo real. Utiliza una arquitectura cliente-servidor donde los usuarios se conectan a un servidor compartido para hablar entre sí.

Locally hosted Ollama permite ejecutar modelos de lenguaje grandes en tu propia máquina, pero usarlo desde la línea de comandos no es muy amigable para el usuario. Aquí hay varios proyectos de código abierto que ofrecen interfaces estilo ChatGPT que se conectan a un Ollama local.

Aplicaciones para monitoreo de carga de GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Aquí tienes un recorrido paso a paso de
instalación de un clúster K3s de 3 nodos
en servidores de metal desnudo (1 maestro + 2 trabajadores).

Comparando distribuciones de self-hosting Kubernetes para alojar en servidores físicos o servidores domésticos, enfocándose en facilidad de instalación, rendimiento, requisitos del sistema y conjuntos de características.

Estoy comparando variantes de Kubernetes autohospedadas que se adaptan a un homelab basado en Ubuntu con 3 nodos (16 GB de RAM, 4 núcleos cada uno), centrándome en la facilidad de instalación y mantenimiento, soporte para volúmenes persistentes y LoadBalancers.

GitHub Actions es una plataforma de automatización y CI/CD dentro de GitHub, utilizada para compilar, probar y desplegar tu código basándose en eventos como pushes, solicitudes de extracción (pull requests) o según un horario.

Aquí tienes una hoja de referencia rápida de Docker Compose con ejemplos anotados para que domines los archivos y comandos de Compose rápidamente.

Aquí tienes un desglose detallado de Obsidian como una herramienta poderosa para la gestión personal del conocimiento (GPK), explicando su arquitectura, características, fortalezas y cómo apoya los flujos de trabajo modernos del conocimiento.

Nvidia está a punto de lanzar NVIDIA DGX Spark, un pequeño superordenador de IA basado en la arquitectura Blackwell, con más de 128 GB de memoria unificada y un rendimiento de IA de 1 PFLOPS. Un dispositivo excelente para ejecutar LLMs.

Vamos a echar un vistazo rápido a
Matomo, Plausible, Google y otros proveedores y sistemas de análisis web
disponibles para autohospedaje y compararlos.