Riferimento rapido per i comandi di Docker Model Runner
Docker Model Runner (DMR) è la soluzione ufficiale di Docker per eseguire modelli AI localmente, introdotta nel aprile 2025. Questo foglio di riferimento fornisce un rapido riferimento per tutti i comandi essenziali, le configurazioni e le best practice.
Confronta Docker Model Runner e Ollama per LLM locali
Running large language models (LLMs) locally ha guadagnato popolarità per la privacy, il controllo dei costi e le capacità offline. Il panorama si è notevolmente modificato nel aprile 2025 quando Docker ha introdotto Docker Model Runner (DMR), la sua soluzione ufficiale per il deployment di modelli AI.
Esempio passo passo
Ecco un esempio di Python Lambda per il processore di messaggi SQS + API REST con protezione tramite chiave API + Terraform script per il deployment per l’esecuzione serverless.
+ Esempi Specifici Utilizzando LLM Pensanti
In questo post, esploreremo due modi per connettere la tua applicazione Python a Ollama: 1. Attraverso l’HTTP REST API; 2. Attraverso la libreria ufficiale Python di Ollama.
API leggermente diverse richiedono un approccio speciale.
Ecco un confronto a fianco a fianco del supporto per output strutturato (ottenere un JSON affidabile) tra i principali fornitori di LLM, più esempi minimi in Python
