Velocità di token di llama.cpp su 16 GB di VRAM (tabelle).
Ecco il confronto sulla velocità di diversi LLM eseguiti su una GPU con 16 GB di VRAM, con l’obiettivo di scegliere il migliore per l’auto-hosting.
La RTX 5090 in Australia è scarsa e sopravvalutata.
L’Australia ha scorte di RTX 5090. A malapena. E se ne trovate una, pagherete un sovrapprezzo che sembra distaccato dalla realtà.
Controlla dati e modelli con LLM autohostati
L’hosting self-hosted di LLM mantiene i dati, i modelli e l’inferenza sotto il tuo controllo: un percorso pratico verso sovrainità AI per team, aziende e nazioni.
Test della velocità del modello LLM sull'RTX 4080 con 16 GB di VRAM
Eseguire grandi modelli linguistici in locale ti offre privacy, capacità offline e zero costi API. Questo benchmark rivela esattamente cosa si può aspettare da 14 modelli popolari LLMs su Ollama su un RTX 4080.
Controllo dei prezzi GPU e RAM di gennaio 2025
Oggi ci concentriamo sui GPU per consumatori di alto livello e sui moduli di RAM. Specificamente sto esaminando prezzi RTX-5080 e RTX-5090, e 32GB (2x16GB) DDR5 6000.
Scegli il terminale giusto per il tuo flusso di lavoro Linux
Uno degli strumenti più essenziali per gli utenti Linux è l’emulatore di terminale.
Prezzi AUD reali dai rivenditori australiani ora
L' NVIDIA DGX Spark (GB10 Grace Blackwell) è ora disponibile in Australia nei principali rivenditori di PC con scorte locali. Se segui le prezzi e disponibilità globali del DGX Spark, sarà interessante sapere che i prezzi in Australia variano da 6.249 a 7.999 AUD a seconda della configurazione di archiviazione e del rivenditore.
Test di Cognee con LLM locali - risultati reali
Cognee è un framework Python per costruire grafi di conoscenza da documenti utilizzando LLM. Ma funziona con modelli auto-hostati?
Come ho risolto i problemi di rete in Ubuntu
Dopo l’installazione automatica di un nuovo kernel, Ubuntu 24.04 ha perso la connessione Ethernet. Questo problema frustrante è successo nuovamente a me, quindi sto documentando la soluzione qui per aiutare gli altri che affrontano lo stesso problema.
Posto breve, solo per segnalare il prezzo.
Con questa pazzesca volatilità dei prezzi della RAM, per fare chiarezza e avere un quadro migliore, iniziamo a monitorare noi stessi i prezzi della RAM in Australia.
I prezzi della RAM schizzano del 163-619% mentre la domanda di AI mette sotto pressione l'offerta.
Il mercato della memoria sta vivendo una volatilità dei prezzi senza precedenti alla fine del 2025, con i prezzi della RAM in forte aumento che si stanno verificando drammaticamente in tutti i segmenti.
Prezzi delle GPU consumer adatte all'AI - RTX 5080 e RTX 5090
Confrontiamo i prezzi per le GPU consumer di fascia alta, in particolare quelle adatte per le LLM e per l’IA in generale. Nello specifico, sto esaminando i prezzi di RTX-5080 e RTX-5090.
Distribuisci l'AI enterprise su hardware economico con modelli open source.
La democratizzazione dell’IA è qui. Con LLM open-source come Llama, Mistral e Qwen che ora competono con i modelli proprietari, i team possono costruire potenti infrastrutture AI utilizzando hardware consumer - riducendo drasticamente i costi mantenendo il controllo totale sulla privacy dei dati e sul deployment.
Abilita l'accelerazione GPU per Docker Model Runner con supporto NVIDIA CUDA
Docker Model Runner è lo strumento ufficiale di Docker per eseguire modelli AI in locale, ma abilitare l’accelerazione GPU di NVidia in Docker Model Runner richiede una configurazione specifica.
Benchmark GPT-OSS 120b su tre piattaforme AI
Ho trovato alcuni interessanti test sulle prestazioni di GPT-OSS 120b in esecuzione su Ollama su tre diversi piattaforme: NVIDIA DGX Spark, Mac Studio, e RTX 4080. Il modello GPT-OSS 120b dalla libreria Ollama pesa 65 GB, il che significa che non si adatta alla VRAM da 16 GB di un RTX 4080 (o al più recente RTX 5080).
