Nvidia

Investigué algunos interesantes tests de rendimiento del modelo GPT-OSS 120b ejecutándose en Ollama en tres plataformas diferentes: NVIDIA DGX Spark, Mac Studio y RTX 4080. El modelo GPT-OSS 120b del repositorio Ollama tiene un tamaño de 65GB, lo que significa que no cabe en los 16GB de VRAM de un RTX 4080 (ni en el más reciente RTX 5080).

Docker Model Runner (DMR) es la solución oficial de Docker para ejecutar modelos de IA localmente, introducida en abril de 2025. Esta guía rápida proporciona una referencia rápida para todos los comandos esenciales, configuraciones y mejores prácticas.

Correr modelos de lenguaje grandes (LLMs) localmente ha ganado popularidad cada vez mayor por razones de privacidad, control de costos y capacidades fuera de línea. El paisaje cambió significativamente en abril de 2025 cuando Docker introdujo Docker Model Runner (DMR), su solución oficial para la implementación de modelos de IA.

NVIDIA DGX Spark es real, está a la venta a partir del 15/10/2025 y está dirigido a desarrolladores de CUDA que necesitan trabajo local con LLM con un stack de IA de NVIDIA integrado. El PVP en EE. UU. es de $3.999; el precio minorista en Reino Unido/Alemania/Japón es superior debido al IVA y al canal de distribución. Los precios públicos en estantería en AUD/KRW todavía no están ampliamente publicados.

Compararemos los precios de las GPUs de consumo de gama alta, adecuadas especialmente para LLM y, en general, para IA. Específicamente, estoy revisando precios de RTX-5080 y RTX-5090. Han bajado ligeramente.

Aplicaciones para monitoreo de carga de GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia está a punto de lanzar NVIDIA DGX Spark, un pequeño superordenador de IA basado en la arquitectura Blackwell, con más de 128 GB de memoria unificada y un rendimiento de IA de 1 PFLOPS. Un dispositivo excelente para ejecutar LLMs.

Comparemos los precios de las principales GPUs de consumo, adecuadas para LLMs en particular y para la IA en general. Específicamente, echen un vistazo a los precios de RTX 5080 y RTX 5090. Han bajado ligeramente.

Hace solo tres meses no veíamos RTX 5090 en las tiendas, y ahora ya están aquí, aunque los precios son ligeramente superiores al precio recomendado por el fabricante (MRSP). Compararemos los precios más bajos de RTX 5080 y RTX 5090 en Australia y veremos cómo evoluciona la situación.

Para comparar, consulte también Precios de RTX 5080 y RTX 5090 en Australia - Julio 2025, Octubre 2025 y Noviembre 2025.

Sistema automatizado de primera clase para un trabajo impresionante.