LLM

Probé el rendimiento de la decodificación especulativa (Predicción Multitoken, MTP) en Qwen 3.6 27B y 35B en una RTX 4080 con 16 GB de VRAM.

Modo router de llama.cpp es uno de los cambios más útiles en llama-server en años. Finalmente ofrece a los operadores de LLM locales una experiencia de gestión de modelos cercana a la que las personas esperan de Ollama, manteniendo al mismo tiempo el rendimiento bruto y el control a bajo nivel que hacen que llama.cpp valga la pena usarlo en primer lugar.

La premisa es simple: el conocimiento compilado es más reutilizable que los fragmentos recuperados. RAG se convirtió en la respuesta predeterminada a una pregunta directa: ¿cómo proporciono a un LLM acceso a conocimiento externo?

La mayoría de los tutoriales sobre “salida estructurada” de los LLM son poco serios. Te enseñan a pedir JSON amablemente y luego a esperar que el modelo se comporte. Eso no es validación. Eso es optimismo con llaves.

Esta página es una referencia práctica para la afinación de inferencia de LLMs agentivos (temperatura, top_p, top_k, penalizaciones y cómo interactúan en flujos de trabajo multietapa y con uso intensivo de herramientas).

Ya puedes chatear con Hermes Agent desde tu teléfono usando texto. Ahora quieres hablar con él directamente y recibir respuestas habladas. Eso suele ser la mejor opción, especialmente si ya usas Hermes como asistente autohospedado persistente. Escribir instrucciones largas en una pantalla pequeña es lento y propenso a errores.

El agente Hermes incluye un tablero estilo Kanban y el Hermes Gateway, que pueden saturar su LLM autoalojado si se asignan demasiadas tareas a la vez.

Hermes Agent trata las habilidades como la forma predeterminada para enseñar flujos de trabajo repetibles. La documentación oficial las describe como documentos de conocimiento bajo demanda alineados con el formato abierto de agentskills.io, cargados mediante divulgación progresiva, de modo que el modelo ve primero un índice pequeño y solo recupera las instrucciones completas cuando una tarea realmente las necesita.

El agente Hermes de Nous Research es un asistente agnóstico de modelos y con capacidad de uso de herramientas que puede ejecutar de forma local o en un VPS.

La mayoría de las pilas de agentes de IA siguen tratando la seguridad como una corrección posterior a la demostración. NemoClaw parte de la suposición opuesta y establece el aislamiento, la política y el enrutamiento como valores predeterminados desde el primer día.

Esta sección recopila guías sobre conocimiento persistente y memoria para sistemas de IA: cómo los asistentes conservan hechos, preferencias y contexto destilado entre sesiones sin saturar un solo prompt con todos los tokens. Aquí, la memoria implica retención intencional (hechos del usuario, resúmenes, almacenes respaldados por complementos), no memoria RAM de GPU o pesos del modelo.

Los asistentes modernos aún olvidan todo cuando cierras la pestaña, a menos que algo persista más allá de la ventana de contexto. Los proveedores de memoria de agentes son servicios o bibliotecas que retienen hechos y resúmenes a través de las sesiones; a menudo se integran como complementos para que el marco de trabajo permanezca ligero mientras la memoria escala.

Ya conoces el procedimiento. Abres un chat con un agente de IA, explicas tu proyecto, compartes tus preferencias, haces algo de trabajo y cierras la pestaña. Regresas la semana siguiente y es como hablar con un extraño: todo el contexto ha desaparecido, cada preferencia ha sido olvidada y el proyecto debe explicarse desde cero.

OpenClaw no fracasó como producto. Perdió su combustible.

Durante mucho tiempo, llama.cpp tuvo una limitación flagrante:
solo se podía servir un modelo por proceso, y cambiar de modelo implicaba un reinicio.

La mayoría de los equipos utilizan mal las Claude Skills de una de dos maneras. O convierten SKILL.md en un vertedero de información, o nunca se alejan de los enormes prompts copiados y pegados.