LLM

NVIDIA DGX Spark es real, está a la venta a partir del 15/10/2025 y está dirigido a desarrolladores de CUDA que necesitan trabajo local con LLM con un stack de IA de NVIDIA integrado. El PVP en EE. UU. es de $3.999; el precio minorista en Reino Unido/Alemania/Japón es superior debido al IVA y al canal de distribución. Los precios públicos en estantería en AUD/KRW todavía no están ampliamente publicados.

A continuación, se presenta una comparación entre Qwen3:30b y GPT-OSS:20b, centrada en el seguimiento de instrucciones y en los parámetros de rendimiento, especificaciones y velocidad.

En este post, exploraremos dos formas de conectar tu aplicación Python a Ollama: 1. A través de HTTP REST API; 2. A través de la biblioteca oficial de Python de Ollama.

Los modelos GPT-OSS de Ollama tienen problemas recurrentes al manejar salidas estructuradas, especialmente cuando se usan con marcos como LangChain, OpenAI SDK, vllm y otros.

A continuación, se presenta una comparación de soporte lado a lado de salida estructurada (obtener JSON de forma confiable) entre los principales proveedores de LLM, además de ejemplos mínimos en Python

Modelos de Lenguaje a Gran Escala (LLM) son poderosos, pero en producción rara vez deseamos párrafos de formato libre. En cambio, queremos datos predecibles: atributos, hechos u objetos estructurados que puedes proporcionar a una aplicación. Eso es la Salida estructurada de LLM.

Aquí estoy comparando cómo mucho VRAM la nueva versión de Ollama asigna al modelo con la versión anterior de Ollama. La nueva versión es peor.

Ollama se ha convertido rápidamente en una de las herramientas más populares para ejecutar LLMs localmente. Su simple CLI y la gestión de modelos simplificada lo han convertido en una opción predilecta para los desarrolladores que desean trabajar con modelos de IA fuera de la nube.

Locally hosted Ollama permite ejecutar modelos de lenguaje grandes en tu propia máquina, pero usarlo desde la línea de comandos no es muy amigable para el usuario. Aquí hay varios proyectos de código abierto que ofrecen interfaces estilo ChatGPT que se conectan a un Ollama local.

Nvidia está a punto de lanzar NVIDIA DGX Spark, un pequeño superordenador de IA basado en la arquitectura Blackwell, con más de 128 GB de memoria unificada y un rendimiento de IA de 1 PFLOPS. Un dispositivo excelente para ejecutar LLMs.

Aquí tenemos una descripción del Protocolo de Contexto del Modelo (MCP), notas breves sobre cómo implementar un servidor MCP en Go, incluyendo la estructura de mensajes y las especificaciones del protocolo.

Dado que Ollama estándar no tiene una API de reranking directa, necesitará implementar reranking usando Qwen3 Reranker en GO generando embeddings para pares de consulta-documento y puntuándolos.

En este test estoy comparando cómo diferentes LLMs alojados en Ollama traducen una página Hugo en inglés al alemán.

Este pequeño ejemplo de código Go para reranking que llama a Ollama para generar embeddings se utiliza para la consulta y para cada documento candidato, y luego ordena de forma descendente por similitud coseno.

Los modelos Qwen3 Embedding y Reranker son los últimos lanzamientos de la familia Qwen, diseñados específicamente para tareas avanzadas de incrustación de texto, recuperación y reordenamiento.

¿Cómo afectan las pistas PCIe al rendimiento de los LLM?? Depende de la tarea. En el entrenamiento y la inferencia con múltiples GPUs, la caída de rendimiento es significativa.