Llamacpp on Rost Glukhov | Sistemas de IA e infraestructura

llama.cpp vs Ollama en 2026: ¿Qué runtime debe ejecutar?

Fri, 11 Sep 2026 00:00:00 +0000

Ollama y llama.cpp a menudo se comparan como si fueran motores de inferencia rivales. La elección real es entre un servicio de modelos gestionado y un conjunto de herramientas que operas directamente.

ROCm frente a Vulkan para la implementación local de LLM en AMD: Guía 2026

Wed, 09 Sep 2026 00:00:00 +0000

ROCm y Vulkan aceleran tanto las GPU de AMD para el alojamiento local de LLM, pero no son intercambiables. La elección correcta depende del motor, la GPU y la carga de trabajo.

KV Cache en GPUs de 16 GB: Cómo hacer que el contexto largo realmente quepa

Tue, 08 Sep 2026 00:00:00 +0000

Un modelo puede publicitar una ventana de contexto de 128K y aun así fallar en 40K tokens en una GPU de 16 GB. El límite de la arquitectura nunca prometió que los pesos, la caché KV, los búferes de cálculo y el compositor del escritorio cabrían en tu tarjeta al mismo tiempo.