Referência rápida para comandos do Docker Model Runner
Docker Model Runner (DMR) é a solução oficial do Docker para executar modelos de IA localmente, introduzida em abril de 2025. Esta folha de dicas fornece uma referência rápida para todos os comandos essenciais, configurações e melhores práticas.
Compare Docker Model Runner e Ollama para LLM local
Executar grandes modelos de linguagem (LLMs) localmente tornou-se cada vez mais popular por motivos de privacidade, controle de custos e capacidades offline. O cenário mudou significativamente em abril de 2025, quando o Docker introduziu Docker Model Runner (DMR), sua solução oficial para implantação de modelos de IA.
Exemplo passo a passo
Aqui temos um exemplo de Lambda em Python para processador de mensagens SQS + API REST com proteção por chave API + Terraform script para implantar em execução sem servidor.
+ Exemplos Específicos Utilizando LLMs de Pensamento
Neste post, vamos explorar duas formas de conectar seu aplicativo Python ao Ollama: 1. Via HTTP REST API; 2. Via a biblioteca oficial do Ollama para Python.
APIs ligeiramente diferentes exigem uma abordagem especial.
Aqui está uma comparação lado a lado de suporte para saída estruturada (obter JSON confiável de volta) entre provedores populares de LLM, juntamente com exemplos mínimos de Python
