NVidia

Executar grandes modelos de linguagem localmente oferece privacidade, capacidade offline e zero custos de API. Este benchmark revela exatamente o que se pode esperar de 14 modelos populares LLMs no Ollama no RTX 4080.

Um dos ferramentas essenciais para usuários do Linux é o emulador de terminal.

O
NVIDIA DGX Spark
(GB10 Grace Blackwell) está
agora disponível na Austrália
em grandes varejistas de PCs com estoque local.
Se você tem acompanhado o
preço e disponibilidade globais do DGX Spark,
você ficará interessado em saber que os preços na Austrália variam de $6.249 a $7.999 AUD, dependendo da configuração de armazenamento e do varejista.

Vamos comparar os preços das principais GPUs de consumo para o topo, que são adequadas para LLMs em particular e para a IA em geral.
Especificamente, estou olhando para
preços do RTX-5080 e RTX-5090.

Embeddings cruzais representam uma revolução na inteligência artificial, permitindo compreensão e raciocínio entre diferentes tipos de dados dentro de um espaço de representação unificado.

A democratização da IA está aqui. Com LLMs de código aberto como Llama 3, Mixtral e Qwen agora rivalizando com modelos proprietários, as equipes podem construir infraestrutura poderosa de IA usando hardware de consumo - reduzindo custos enquanto mantêm o controle completo sobre a privacidade dos dados e o deployment.

Configurar tamanhos de contexto no Docker Model Runner é mais complexo do que deveria ser.

Black Forest Labs lançou FLUX.1-Kontext-dev, um avançado modelo de IA de imagem para imagem que aumenta imagens existentes usando instruções de texto.

Docker Model Runner é a ferramenta oficial do Docker para executar modelos de IA localmente, mas habilitar a aceleração da GPU da NVidia no Docker Model Runner requer uma configuração específica.

Fiz uma pesquisa sobre alguns interessantes testes de desempenho do GPT-OSS 120b em execução no Ollama em três diferentes plataformas: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama tem 65GB, o que significa que não cabe na VRAM de 16GB de um RTX 4080 (ou no mais recente RTX 5080).

Docker Model Runner (DMR) é a solução oficial do Docker para executar modelos de IA localmente, introduzida em abril de 2025. Esta folha de dicas fornece uma referência rápida para todos os comandos essenciais, configurações e melhores práticas.

Executar grandes modelos de linguagem (LLMs) localmente tornou-se cada vez mais popular por motivos de privacidade, controle de custos e capacidades offline. O cenário mudou significativamente em abril de 2025, quando o Docker introduziu Docker Model Runner (DMR), sua solução oficial para implantação de modelos de IA.

NVIDIA DGX Spark é real, disponível para venda a partir de 15 de outubro de 2025, e direcionado a desenvolvedores de CUDA que precisam de trabalho local com LLM com uma pilha integrada de IA da NVIDIA. Preço de venda sugerido nos EUA $3.999; o preço retalhista em UK/DE/JP é mais alto devido ao imposto sobre o valor agregado e ao canal. Preços públicos em AUD/KRW ainda não estão amplamente divulgados.

Mais uma vez, vamos comparar os preços das GPUs de alto desempenho para consumidores, que são adequadas, em particular, para LLMs e, em geral, para IA.

Especificamente, estou olhando para preços do RTX-5080 e RTX-5090. Eles tiveram uma leve redução.

Aplicações de monitoramento de carga da GPU:
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia está prestes a lançar NVIDIA DGX Spark - pequeno supercomputador de IA baseado na arquitetura Blackwell com 128+GB de memória unificada e 1 PFLOPS de desempenho de IA. Dispositivo interessante para executar LLMs.