Perché il contesto da 128K va in crash su 16 GB
Un modello può pubblicizzare una finestra di contesto da 128K e comunque fallire a 40K token su una GPU da 16 GB. Il limite architetturale non ha mai garantito che i pesi, la cache KV, i buffer di calcolo e il compositore del desktop potessero stare sulla tua scheda contemporaneamente.
Inferenza LLM più veloce senza perdita di qualità: una guida pratica
Un modello da 70B genera un token per passaggio avanti e ogni passaggio ricarica i pesi dalla VRAM, calcola l’attenzione su tutto il contesto e sincronizza la memoria. Tra un token e l’altro, la GPU resta inattiva in attesa che si risolvano le dipendenze sequenziali.
MTP rispetto alla decodifica standard su RTX 4080 — benchmark reali
Ho testato le prestazioni di Speculative Decoding (Multi-Token Prediction, MTP) su Qwen 3.6 27B e 35B su una RTX 4080 con 16 GB di VRAM.
Smetti di interpretare le vibrazioni. Convalida i contratti.
La maggior parte dei tutorial sull’output strutturato degli LLM è superficiale. Ti insegnano a chiedere JSON gentilmente e poi sperare che il modello si comporti correttamente. Quello non è convalida. È ottimismo con le parentesi graffe.
Riferimento per l'ottimizzazione di LLM agentic
Questa pagina è un riferimento pratico per la regolazione dell’inferenza di LLM agentic (temperatura, top_p, top_k, penalità e come interagiscono in flussi di lavoro multi-step e intensivi nell’uso di strumenti).
Velocità di tokenizzazione di llama.cpp su 16 GB di VRAM (tabelle).
Qui sto confrontando la velocità di diversi LLM eseguiti su una GPU con 16 GB di VRAM, scegliendo il migliore per l’auto-ospitato (self-hosting).
Test di velocità LLM su RTX 4080 con 16 GB di VRAM
Eseguire modelli di linguaggio su larga scala (LLM) in locale garantisce privacy, operatività offline e zero costi di API. Questo benchmark rivela esattamente cosa ci si può aspettare da 14 LLM su Ollama su RTX 4080 popolari.
Output di LLM type-safe con BAML e Instructor
Quando si lavora con i Large Language Models (LLM) in produzione, ottenere output strutturati e type-safe è fondamentale. Due framework popolari - BAML e Instructor - adottano approcci diversi per risolvere questo problema.
Benchmark GPT-OSS 120b su tre piattaforme AI
Ho trovato alcuni interessanti test sulle prestazioni di GPT-OSS 120b in esecuzione su Ollama su tre diversi piattaforme: NVIDIA DGX Spark, Mac Studio, e RTX 4080. Il modello GPT-OSS 120b dalla libreria Ollama pesa 65 GB, il che significa che non si adatta alla VRAM da 16 GB di un RTX 4080 (o al più recente RTX 5080).
Gli ASIC e i chip su misura aumentano la velocità e l'efficienza dell'inferenza dei LLM
Il futuro dell’AI non riguarda solo modelli più intelligenti. Riguarda anche un silicio che si adegua al modo in cui tali modelli vengono effettivamente serviti. L’hardware specializzato per l’inferenza LLM segue un percorso che richiama il passaggio del mining di Bitcoin dalle GPU agli ASIC dedicati, ma con vincoli più rigidi poiché i modelli e le tecniche di precisione continuano a evolversi.
Confronto di velocità, parametri e prestazioni di questi due modelli
Ecco un confronto tra Qwen3:30b e GPT-OSS:20b con un focus sul rispetto delle istruzioni e sui parametri di prestazione, specifiche e velocità.
Non molto bello.
Ollama’s GPT-OSS models presentano frequenti problemi nel gestire l’output strutturato, specialmente quando vengono utilizzate con framework come LangChain, OpenAI SDK, vllm e altri.
API leggermente diverse richiedono un approccio specifico.
Ecco un confronto tra il supporto per output strutturati (ottenimento di JSON affidabili) tra i principali provider di LLM, insieme a esempi Python minimi.
Il mio test della pianificazione del modello ollama
Ecco che confronto quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.
Stai pensando di installare una seconda GPU per i modelli LLM?
Come le lane PCIe influenzano le prestazioni degli LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU, la riduzione delle prestazioni è significativa.
