Docker

Tanto o ROCm quanto o Vulkan aceleram GPUs AMD para a hospedagem local de LLMs, mas eles não são intercambiáveis. A escolha certa depende do motor, da GPU e da carga de trabalho.

Ollama é uma das formas mais simples de executar um modelo de linguagem local, mas a conveniência pode mascarar o momento em que um experimento local se torna um serviço de inferência compartilhado que necessita de melhor agendamento e observabilidade.

Docker Compose e Podman Quadlet resolvem problemas sobrepostos, mas vêm de centros de design diferentes, e a escolha entre eles depende de você pensar em pilhas de aplicativos ou em serviços Linux.

O Docker Compose em um servidor Linux deve iniciar na boot, parar limpaamente durante o desligamento e sobreviver a reinicializações sem intervenção manual.

Instalar o Docker no Ubuntu deveria ser simples, mas na prática, várias opções relacionadas ao Docker competem pelo mesmo nome de comando, cada uma com empacotamento, comportamento de atualização e implicações de segurança diferentes.

Vane é uma das entradas mais pragmáticas no espaço de “busca de IA com citações”: um motor de respostas auto-hospedado que combina recuperação da web em tempo real com LLMs locais ou na nuvem, mantendo toda a pilha sob seu controle.

O Hermes Agent é um assistente de IA auto-hospedado e agnóstico em relação ao modelo, que é executado em uma máquina local ou em um VPS de baixo custo, opera por meio de interfaces de terminal e mensagens e melhora com o tempo, transformando tarefas repetidas em habilidades reutilizáveis.

A Inferência de Geração de Texto (TGI) tem uma energia muito específica. Não é o mais novo na rua da inferência, mas é aquele que já aprendeu como a produção quebra -

Ollama funciona muito bem em metal nu. Torna-se ainda mais interessante quando tratado como um serviço: um endpoint estável, versões fixas, armazenamento persistente e uma GPU que está disponível ou não.

O Neo4j é a ferramenta a que você recorre quando as relações são os dados. Se o seu domínio se parece com um quadro branco cheio de círculos e setas, forçá-lo em tabelas é doloroso.

O SGLang é um framework de serviço de alto desempenho para grandes modelos de linguagem e modelos multimodais, construído para fornecer inferência de baixa latência e alto throughput, desde uma única GPU até clusters distribuídos.

Em breve, você estará equilibrando vLLM, llama.cpp e mais — cada pilha em sua própria porta. Tudo a jusante ainda deseja uma URL base /v1; caso contrário, você continuará movendo portas, perfis e scripts pontuais. O llama-swap é o proxy /v1 antes dessas pilhas.

A linha de lançamento 4.2.0 do Apache Kafka é a atualmente suportada e constitui a melhor base para um guia de início rápido moderno, uma vez que o Kafka 4.x é totalmente livre de ZooKeeper e construído em torno do KRaft por padrão.

O desenvolvimento de software envolve Git para controle de versão, Docker para containerização, bash para automação, PostgreSQL para bancos de dados e VS Code para edição — além de inúmeras outras ferramentas que podem fazer ou quebrar sua produtividade. Esta página reúne os cheatsheets (folhas de referência), fluxos de trabalho e comparações essenciais que você precisa para trabalhar eficientemente em toda a pilha de desenvolvimento.

OpenHands é uma plataforma de código aberto e agnóstica em relação ao modelo para agentes de desenvolvimento de software impulsionados por IA. Ele permite que um agente se comporte mais como um parceiro de programação do que como uma simples ferramenta de autocompletar.

O LocalAI é um servidor de inferência de auto-hospedagem, com prioridade local, projetado para funcionar como uma API OpenAI plug-and-play para executar cargas de trabalho de IA no seu próprio hardware (laptop, estação de trabalho ou servidor local).