¿Piensa en instalar una segunda GPU para LLMs?
Cómo afectan los canales PCIe al rendimiento de los LLM? Dependiendo de la tarea. Para el entrenamiento y la inferencia con múltiples GPUs, la caída de rendimiento es significativa.
LLM para extraer texto de HTML...
En la biblioteca de modelos de Ollama hay modelos que pueden convertir contenido HTML a Markdown, lo cual es útil para tareas de conversión de contenido.
Cursor AI vs GitHub Copilot vs Cline AI vs...
Listaré aquí algunas herramientas de codificación asistidas por IA y Asistentes de codificación de IA y sus aspectos positivos.
Ollama en CPU de Intel: núcleos eficientes vs. núcleos de rendimiento
Tengo una teoría para probar: ¿si utilizamos todos los núcleos en una CPU de Intel aumentaría la velocidad de los LLMs? Me molesta que el nuevo modelo gemma3 de 27 bits (gemma3:27b, 17 GB en ollama) no se ajuste a los 16 GB de VRAM de mi GPU, y se ejecute parcialmente en la CPU.
Configurando ollama para la ejecución de solicitudes en paralelo.
Cuando el servidor Ollama recibe dos solicitudes al mismo tiempo, su comportamiento depende de su configuración y de los recursos del sistema disponibles.
Comparando dos modelos deepseek-r1 con dos modelos base
El primer generación de modelos de razonamiento de DeepSeek con un rendimiento comparable al de OpenAI-o1, incluyendo seis modelos densos destilados de DeepSeek-R1 basados en Llama y Qwen.
Compilé esta lista de comandos de Ollama hace algún tiempo...
Aquí está la lista y ejemplos de los comandos más útiles de Ollama (cheat sheet de comandos de Ollama) Los compilé hace algún tiempo. Espero que también sea útil para ti aquí.
Siguiente ronda de pruebas de LLM
Hace poco fue lanzado. Vamos a ponernos al día y
testeamos cómo se comporta Mistral Small en comparación con otros LLMs.
Un código en Python para el reordenamiento de RAG
Comparando dos motores de búsqueda de IA autohospedados
La comida deliciosa también es un placer para los ojos.
Pero en este post compararemos dos sistemas de búsqueda basados en IA, Farfalle y Perplexica.
¿Ejecutando un servicio estilo copilot localmente? ¡Fácil!
¡Eso es muy emocionante! En lugar de llamar a copilot o perplexity.ai y contarle al mundo entero qué es lo que buscas, ahora puedes alojar un servicio similar en tu propio PC o laptop.
No hay tantas opciones, pero aún así...
Cuando empecé a experimentar con LLMs, las interfaces de usuario para ellos estaban en desarrollo activo y ahora algunas de ellas son realmente buenas.
Prueba de detección de falacias lógicas
Recientemente hemos visto la liberación de varios nuevos LLMs. Tiempo emocionante. Vamos a probar y ver cómo se desempeñan al detectar falacias lógicas.
Requiere algún experimento pero
Aún así, existen algunos enfoques comunes para escribir buenos prompts de manera que los modelos de lenguaje no se confundan al intentar entender lo que deseas.
8 versiones de llama3 (Meta+) y 5 versiones de phi3 (Microsoft) LLM
Probando cómo se comportan los modelos con diferentes números de parámetros y cuantización.
Los archivos del modelo LLM de Ollama ocupan mucho espacio.
Después de instalar ollama, es mejor reconfigurar ollama para que los almacene en un nuevo lugar de inmediato. Así, después de que descarguemos un nuevo modelo, no se descargará en el lugar antiguo.
