NVidia

Ejecutar modelos de lenguaje grandes localmente te brinda privacidad, capacidad para trabajar sin conexión y cero costos de API. Este benchmark revela exactamente lo que se puede esperar de 14 modelos populares LLMs en Ollama en una RTX 4080.

Uno de los herramientas más esenciales para los usuarios de Linux es el emulador de terminal.

El
NVIDIA DGX Spark
(GB10 Grace Blackwell) ahora está
disponible en Australia
en principales retailers de PC con stock local.
Si has estado siguiendo la
disponibilidad y precios globales del DGX Spark,
te interesará saber que los precios en Australia van desde $6,249 a $7,999 AUD según la configuración de almacenamiento y el retailer.

Vamos a comparar precios para tarjetas gráficas de alto nivel para consumidores, que son adecuadas para LLMs en particular y la IA en general.
Específicamente, me estoy enfocando en
precios de RTX-5080 y RTX-5090.

Embeddings cruzales representan un avance significativo en inteligencia artificial, permitiendo entender y razonar entre diferentes tipos de datos dentro de un espacio de representación unificado.

La democratización de la IA está aquí. Con LLMs de código abierto como Llama 3, Mixtral y Qwen ahora rivales de modelos propietarios, los equipos pueden construir una poderosa infraestructura de IA usando hardware de consumo - reduciendo costos mientras se mantiene el control total sobre la privacidad de los datos y la implementación.

Configuración de tamaños de contexto en Docker Model Runner es más compleja de lo que debería ser.

Black Forest Labs ha lanzado FLUX.1-Kontext-dev, un avanzado modelo de inteligencia artificial de imagen a imagen que mejora imágenes existentes mediante instrucciones de texto.

Docker Model Runner es la herramienta oficial de Docker para ejecutar modelos de IA localmente, pero habilitar la aceleración de GPU de NVidia en Docker Model Runner requiere una configuración específica.

Investigué algunos interesantes tests de rendimiento del modelo GPT-OSS 120b ejecutándose en Ollama en tres plataformas diferentes: NVIDIA DGX Spark, Mac Studio y RTX 4080. El modelo GPT-OSS 120b del repositorio Ollama tiene un tamaño de 65GB, lo que significa que no cabe en los 16GB de VRAM de un RTX 4080 (ni en el más reciente RTX 5080).

Docker Model Runner (DMR) es la solución oficial de Docker para ejecutar modelos de IA localmente, introducida en abril de 2025. Esta guía rápida proporciona una referencia rápida para todos los comandos esenciales, configuraciones y mejores prácticas.

Correr modelos de lenguaje grandes (LLMs) localmente ha ganado popularidad cada vez mayor por razones de privacidad, control de costos y capacidades fuera de línea. El paisaje cambió significativamente en abril de 2025 cuando Docker introdujo Docker Model Runner (DMR), su solución oficial para la implementación de modelos de IA.

NVIDIA DGX Spark es real, disponible para la venta el 15 de octubre de 2025, y está dirigido a desarrolladores de CUDA que necesitan realizar trabajo local con LLM con una pila de IA integrada de NVIDIA. Precio de venta al por mayor en EE. UU. $3,999; el precio de venta al por menor en Reino Unido/DE/JP es más alto debido al IVA y al canal. Los precios públicos en AUD/KRW aún no están ampliamente publicados.

Una y otra vez, comparemos precios para las tarjetas gráficas de consumo de primer nivel, que son adecuadas en particular para LLMs y en general para la IA.

Específicamente estoy mirando precios de RTX-5080 y RTX-5090. Han disminuido ligeramente.

Aplicaciones para monitoreo de carga de GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia está a punto de lanzar NVIDIA DGX Spark - pequeño superordenador de IA basado en la arquitectura Blackwell con 128+GB de memoria unificada y un rendimiento de IA de 1 PFLOPS. Dispositivo interesante para ejecutar LLMs.