AI

Los modelos GPT-OSS de Ollama tienen problemas recurrentes al manejar salidas estructuradas, especialmente cuando se usan con marcos como LangChain, OpenAI SDK, vllm y otros.

Modelos de Lenguaje Grande (LLMs) son poderosos, pero en producción raramente queremos párrafos libres. En su lugar, queremos datos predecibles: atributos, hechos u objetos estructurados que puedas alimentar en una aplicación. Eso es Salida Estructurada de LLM.

Aquí estoy comparando cuánta VRAM asigna la nueva versión de Ollama al modelo con la versión anterior de Ollama. La nueva versión es peor.

Ollama ha pasado rápidamente a ser una de las herramientas más populares para ejecutar LLMs localmente.
Su CLI simple y su gestión de modelos optimizada han hecho que sea una opción favorita para desarrolladores que desean trabajar con modelos de IA fuera de la nube.
Pero, al igual que con muchas plataformas prometedoras, ya hay señales de Enshittification:

Locally hosted Ollama permite ejecutar modelos de lenguaje grandes en tu propia máquina, pero usarlo desde la línea de comandos no es muy amigable para el usuario. Aquí hay varios proyectos de código abierto que ofrecen interfaces estilo ChatGPT que se conectan a un Ollama local.

La carta de The Pragmatic Engineer publicada hace unos días presentó estadísticas de una encuesta sobre la popularidad de lenguajes de programación, IDEs, herramientas de IA y otros datos para mediados de 2025.

Nvidia está a punto de lanzar NVIDIA DGX Spark - pequeño superordenador de IA basado en la arquitectura Blackwell con 128+GB de memoria unificada y un rendimiento de IA de 1 PFLOPS. Dispositivo interesante para ejecutar LLMs.

Dado que el Ollama estándar no tiene una API de rerank directa, tendrás que implementar reranking usando Qwen3 Reranker en GO generando embeddings para pares de consulta y documentos y calificándolos.

Un frío día de invierno en julio… que es en Australia… sentí la urgente necesidad de entrenar un modelo de IA para detectar barras de refuerzo de concreto sin tapones…

En este test estoy comparando cómo diferentes LLMs alojados en Ollama traducen una página Hugo del inglés al alemán. Tres páginas que probé estaban sobre temas diferentes, tenían algún buen markdown con cierta estructura: encabezados, listas, tablas, enlaces, etc.

Este pequeño Ejemplo de código Go para reranking llama a Ollama para generar embeddings para la consulta y para cada documento candidato, luego ordenando de forma descendente por similitud coseno.

Cómo afectan los canales PCIe al rendimiento de los LLM? Dependiendo de la tarea. Para el entrenamiento y la inferencia con múltiples GPUs, la caída de rendimiento es significativa.

En la biblioteca de modelos de Ollama hay modelos que pueden convertir contenido HTML a Markdown, lo cual es útil para tareas de conversión de contenido.

• Buscar es ideal para recuperar información rápida y directa utilizando palabras clave.
• Búsqueda profunda destaca por comprender el contexto e intención, entregando resultados más relevantes y completos para consultas complejas.

Listaré aquí algunas herramientas de codificación asistidas por IA y Asistentes de codificación de IA y sus aspectos positivos.

El uso de LLMs no es muy costoso, quizás no sea necesario comprar una nueva GPU increíble.
Aquí hay una lista de proveedores de LLM en la nube con LLMs que alojan.