I costi degli LLM scala linearmente con l’utilizzo. Un sistema che elabora 10.000 richieste al giorno a $0,01 per richiesta costa $100 al giorno — 365 dollari l’anno. Su scala enterprise, si superano i $10.000.

Eseguire un modello con 70 miliardi di parametri per riassumere un’email di 200 parole è uno spreco. Eseguire un modello da 3 miliardi di parametri per revisionare il codice in produzione è imprudente. La maggior parte dei sistemi si colloca da qualche punto intermedio: ed è qui che entra in gioco il routing dei modelli.

I LLM sono imprevedibili. Hallucinate, perdono dati, generano contenuti dannosi o rifiutano richieste legittime. I guardrails (meccanismi di sicurezza) vincolano il comportamento del modello senza sacrificare le sue capacità.

La memoria trasforma gli assistenti da reattivi a persistenti, ma è anche il punto in cui molti sistemi si deteriorano silenziosamente. Le ricerche sostengono che la divisione tra memoria a breve e a lungo termine non sia più sufficiente per la memoria degli agenti moderni; gli SDK di OpenAI e LangGraph indicano un’architettura più semplice — memoria di lavoro, stato duraturo e recupero.

Un assistente AI in produzione non è “un LLM con un prompt”. È un sistema che accetta l’intento, mantiene lo stato, decide quando recuperare informazioni o agire ed espone sufficienti dettagli di runtime per eseguire il debug delle anomalie.

L’intelligenza artificiale non sta sostituendo la gestione della conoscenza; sta cambiando la sua forma sia per gli individui che per i team.

Gli sviluppatori non soffrono solitamente per la mancanza di informazioni. Noi soffriamo per l’eccesso di esse.

I framework open source per agenti AI stanno esplodendo di popolarità su GitHub. Due progetti al centro dell’ecosistema dei sistemi AI auto-ospitati — OpenClaw e Hermes Agent — hanno preso un tale vantaggio che il resto del settore si contende un lontano terzo posto.

Ho testato le prestazioni di Speculative Decoding (Multi-Token Prediction, MTP) su Qwen 3.6 27B e 35B su una RTX 4080 con 16 GB di VRAM.

Modalità router di llama.cpp è uno dei cambiamenti più utili a llama-server degli ultimi anni. Fornisce finalmente agli operatori di LLM locali un’esperienza di gestione dei modelli vicina a quella che ci si aspetta da Ollama, mantenendo al contempo le prestazioni grezze e il controllo a basso livello che rendono llama.cpp meritevole di essere utilizzato in primo luogo.

La maggior parte dei sistemi di conoscenza moderni ottimizza il recupero (retrieval), ed è comprensibile. La ricerca è visibile, facile da dimostrare e sembra magica quando funziona. Scrivi una domanda, ottieni una risposta.

La premessa è semplice: la conoscenza compilata è più riutilizzabile dei frammenti recuperati. RAG è diventata la risposta predefinita a una domanda semplice: come fornisco a un LLM l’accesso a conoscenze esterne?

PKM, RAG, wiki, sistemi di memoria AI e ora flussi di lavoro pratici assistiti dall’IA sono spesso discussi come se risolvessero lo stesso problema. Non è così. Tutti hanno a che fare con la conoscenza, ma operano a livelli diversi:

Il sovraccarico informativo dipende meno dal volume puro che dagli input non risolti. Il lavoro intellettuale moderno lascia una scia di schede, thread di chat, documenti, evidenziati, frammenti, trascrizioni, screenshot e note incompiute.

La maggior parte dei tutorial sull’output strutturato degli LLM è superficiale. Ti insegnano a chiedere JSON gentilmente e poi sperare che il modello si comporti correttamente. Quello non è convalida. È ottimismo con le parentesi graffe.

Questa pagina è un riferimento pratico per la regolazione dell’inferenza di LLM agentic (temperatura, top_p, top_k, penalità e come interagiscono in flussi di lavoro multi-step e intensivi nell’uso di strumenti).