Velocità di token di llama.cpp su 16 GB di VRAM (tabelle).
Ecco il confronto sulla velocità di diversi LLM eseguiti su una GPU con 16 GB di VRAM, con l’obiettivo di scegliere il migliore per l’auto-hosting.
La RTX 5090 in Australia è scarsa e sopravvalutata.
L’Australia ha scorte di RTX 5090. A malapena. E se ne trovate una, pagherete un sovrapprezzo che sembra distaccato dalla realtà.
Server Ollama con approccio compose-first, GPU e persistenza.
Ollama funziona egregiamente su hardware nudo (bare metal). Diventa ancora più interessante quando lo si tratta come un servizio: un endpoint stabile, versioni bloccate, archiviazione persistente e una GPU che è disponibile o non lo è.
Test della velocità del modello LLM sull'RTX 4080 con 16 GB di VRAM
Eseguire grandi modelli linguistici in locale ti offre privacy, capacità offline e zero costi API. Questo benchmark rivela esattamente cosa si può aspettare da 14 modelli popolari LLMs su Ollama su un RTX 4080.
Scegli il terminale giusto per il tuo flusso di lavoro Linux
Uno degli strumenti più essenziali per gli utenti Linux è l’emulatore di terminale.
Prezzi AUD reali dai rivenditori australiani ora
L' NVIDIA DGX Spark (GB10 Grace Blackwell) è ora disponibile in Australia nei principali rivenditori di PC con scorte locali. Se segui le prezzi e disponibilità globali del DGX Spark, sarà interessante sapere che i prezzi in Australia variano da 6.249 a 7.999 AUD a seconda della configurazione di archiviazione e del rivenditore.
Prezzi delle GPU consumer adatte all'AI - RTX 5080 e RTX 5090
Confrontiamo i prezzi per le GPU consumer di fascia alta, in particolare quelle adatte per le LLM e per l’IA in generale. Nello specifico, sto esaminando i prezzi di RTX-5080 e RTX-5090.
Unificare testo, immagini e audio in spazi di embedding condivisi
Embeddingi cross-modal rappresentano un passo avanti significativo nell’intelligenza artificiale, consentendo di comprendere e ragionare su diversi tipi di dati all’interno di uno spazio di rappresentazione unificato.
Distribuisci l'AI enterprise su hardware economico con modelli open source.
La democratizzazione dell’IA è qui. Con LLM open-source come Llama, Mistral e Qwen che ora competono con i modelli proprietari, i team possono costruire potenti infrastrutture AI utilizzando hardware consumer - riducendo drasticamente i costi mantenendo il controllo totale sulla privacy dei dati e sul deployment.
Configurare le dimensioni del contesto in Docker Model Runner con soluzioni alternative
Configurazione delle dimensioni del contesto in Docker Model Runner è più complessa di quanto dovrebbe essere.
Modello AI per l'aumento di immagini con istruzioni testuali
Black Forest Labs ha rilasciato FLUX.1-Kontext-dev, un avanzato modello AI image-to-image che migliora le immagini esistenti utilizzando istruzioni testuali.
Abilita l'accelerazione GPU per Docker Model Runner con supporto NVIDIA CUDA
Docker Model Runner è lo strumento ufficiale di Docker per eseguire modelli AI in locale, ma abilitare l’accelerazione GPU di NVidia in Docker Model Runner richiede una configurazione specifica.
Benchmark GPT-OSS 120b su tre piattaforme AI
Ho trovato alcuni interessanti test sulle prestazioni di GPT-OSS 120b in esecuzione su Ollama su tre diversi piattaforme: NVIDIA DGX Spark, Mac Studio, e RTX 4080. Il modello GPT-OSS 120b dalla libreria Ollama pesa 65 GB, il che significa che non si adatta alla VRAM da 16 GB di un RTX 4080 (o al più recente RTX 5080).
Riferimento rapido per i comandi di Docker Model Runner
Docker Model Runner (DMR) è la soluzione ufficiale di Docker per eseguire modelli AI localmente, introdotta nel aprile 2025. Questo foglio di riferimento fornisce un rapido riferimento per tutti i comandi essenziali, le configurazioni e le best practice.
Confronta Docker Model Runner e Ollama per LLM locali
Running large language models (LLMs) locally ha guadagnato popolarità per la privacy, il controllo dei costi e le capacità offline. Il panorama si è notevolmente modificato nel aprile 2025 quando Docker ha introdotto Docker Model Runner (DMR), la sua soluzione ufficiale per il deployment di modelli AI.
Disponibilità, prezzi reali al dettaglio in sei paesi e confronto con Mac Studio.
NVIDIA DGX Spark è reale, in vendita dal 15 ottobre 2025, ed è rivolto agli sviluppatori CUDA che necessitano di lavori locali con LLM con uno stack NVIDIA AI integrato. Prezzo di listino USA $3.999; il prezzo al dettaglio nel Regno Unito/DE/JP è più alto a causa dell’IVA e dei canali di distribuzione. I prezzi pubblici AUD/KRW non sono ancora ampiamente pubblicati.
