Self-Hosting

En este post, exploraremos dos formas de conectar tu aplicación Python a Ollama: 1. A través de HTTP REST API; 2. A través de la biblioteca oficial de Python de Ollama.

Proxmox Virtual Environment (Proxmox VE) es un hipervisor de tipo 1 y una plataforma de orquestación de centro de datos de código abierto construida sobre Debian.

Una y otra vez, comparemos precios para las tarjetas gráficas de consumo de primer nivel, que son adecuadas en particular para LLMs y en general para la IA.

Específicamente estoy mirando precios de RTX-5080 y RTX-5090. Han disminuido ligeramente.

Los modelos GPT-OSS de Ollama tienen problemas recurrentes al manejar salidas estructuradas, especialmente cuando se usan con marcos como LangChain, OpenAI SDK, vllm y otros.

Modelos de Lenguaje Grande (LLMs) son poderosos, pero en producción raramente queremos párrafos libres. En su lugar, queremos datos predecibles: atributos, hechos u objetos estructurados que puedas alimentar en una aplicación. Eso es Salida Estructurada de LLM.

Para los fans de KDE Plasma, dos distribuciones de Linux suelen mencionarse con frecuencia en las discusiones:
Kubuntu y KDE Neon.
Pueden parecer similares: ambas incluyen KDE Plasma como escritorio predeterminado, ambas están basadas en Ubuntu y ambas son amigables para nuevos usuarios.

Aquí estoy comparando cómo mucho VRAM la nueva versión de Ollama asigna al modelo con la versión anterior de Ollama. La nueva versión es peor.

Este guía te guiará a través del proceso de cambiar la dirección IP estática en un servidor Ubuntu.

Ollama ha pasado rápidamente a ser una de las herramientas más populares para ejecutar modelos de lenguaje grande (LLM) en local.
Su CLI simple y su gestión de modelos optimizada han convertido a Ollama en una opción preferida para desarrolladores que desean trabajar con modelos de IA fuera de la nube.

Mumble es una aplicación de voz sobre IP (VoIP) gratuita y de código abierto diseñada principalmente para la comunicación de voz en tiempo real. Utiliza una arquitectura cliente-servidor donde los usuarios se conectan a un servidor compartido para hablar entre sí.

Locally hosted Ollama permite ejecutar modelos de lenguaje grandes en tu propia máquina, pero usarlo desde la línea de comandos no es muy amigable para el usuario. Aquí hay varios proyectos de código abierto que ofrecen interfaces estilo ChatGPT que se conectan a un Ollama local.

Aplicaciones para monitoreo de carga de GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Aquí tienes un recorrido paso a paso de
instalación de un clúster K3s de 3 nodos
en servidores de metal desnudo (1 maestro + 2 trabajadores).

Comparando distribuciones de self-hosting Kubernetes para alojar en servidores físicos o servidores domésticos, enfocándose en facilidad de instalación, rendimiento, requisitos del sistema y conjuntos de características.

Estoy comparando variantes de Kubernetes autohospedadas que se adaptan a un homelab basado en Ubuntu con 3 nodos (16 GB de RAM, 4 núcleos cada uno), centrándome en la facilidad de instalación y mantenimiento, soporte para volúmenes persistentes y LoadBalancers.

GitHub Actions es una plataforma de automatización y CI/CD dentro de GitHub, utilizada para compilar, probar y desplegar su código basado en eventos como pushes, solicitudes de extracción o en un horario.