Self-Hosting

Ollama e llama.cpp são frequentemente comparados como se fossem motores de inferência rivais. A escolha real está entre um serviço de modelos gerenciado e um toolkit que você opera diretamente.

Um modelo pode anunciar uma janela de contexto de 128K e ainda assim falhar com 40K tokens em uma GPU de 16 GB. O limite arquitetural nunca prometeu que pesos, cache de KV, buffers de computação e o compositor do ambiente gráfico caberiam no seu cartão ao mesmo tempo.

Cada chamada de API parece uma transação simples – até que se acumulem o suficiente para que seus dados de ajuste fino (fine-tuning), seus mecanismos de avaliação e seus esquemas de ferramentas estejam todos moldados em torno de um único fornecedor, e mudar deixe de ser apenas uma alteração de roteamento.

Ollama é uma das formas mais simples de executar um modelo de linguagem local, mas a conveniência pode mascarar o momento em que um experimento local se torna um serviço de inferência compartilhado que necessita de melhor agendamento e observabilidade.

Docker Compose e Podman Quadlet resolvem problemas sobrepostos, mas vêm de centros de design diferentes, e a escolha entre eles depende de você pensar em pilhas de aplicativos ou em serviços Linux.

O Docker Compose em um servidor Linux deve iniciar na boot, parar limpaamente durante o desligamento e sobreviver a reinicializações sem intervenção manual.

Instalar o Docker no Ubuntu deveria ser simples, mas na prática, várias opções relacionadas ao Docker competem pelo mesmo nome de comando, cada uma com empacotamento, comportamento de atualização e implicações de segurança diferentes.

Falhas no APT são comuns em máquinas Ubuntu de longa duração e geralmente surgem após uma atualização de versão, uma mudança em repositórios de terceiros, a remoção de um PPA, a instalação manual de um .deb ou uma instalação de pacote interrompida.

o modo roteador do llama.cpp é uma das mudanças mais úteis no llama-server em anos. Ele finalmente oferece aos operadores de LLMs locais uma experiência de gerenciamento de modelos próxima do que as pessoas esperam do Ollama, mantendo o desempenho bruto e o controle de baixo nível que tornam o llama.cpp digno de uso em primeiro lugar.

Esta página é uma referência prática para ajuste de inferência de LLMs agênicos (temperatura, top_p, top_k, penalidades e como elas interagem em fluxos de trabalho multi-step e com uso intenso de ferramentas).

Você já conversa com o Hermes Agent pelo seu telefone usando texto. Agora você quer falar com ele diretamente e receber respostas faladas. Geralmente, essa é a melhor abordagem, especialmente se você já usa o Hermes como um assistente auto-hospedado persistente. Digitar prompts longos em uma tela pequena é lento e propenso a erros.

A maioria das pilhas de agentes de IA ainda trata a segurança como um ajuste pós-demonstração. NemoClaw parte da premissa oposta e torna o isolamento, a política e o roteamento padrões desde o primeiro dia.

A gestão de conhecimento pessoal abrange Obsidian, Logseq, DokuWiki, Zettelkasten e PARA — a escolha certa depende se você deseja um gráfico de notas local, uma wiki auto-hospedada ou um fluxo de trabalho orientado por outliners.

A brecha silenciosa que impulsionou uma onda de experimentação com agentes agora está fechada.

Vane é uma das entradas mais pragmáticas no espaço de “busca de IA com citações”: um motor de respostas auto-hospedado que combina recuperação da web em tempo real com LLMs locais ou na nuvem, mantendo toda a pilha sob seu controle.

A Inferência de Geração de Texto (TGI) tem uma energia muito específica. Não é o mais novo na rua da inferência, mas é aquele que já aprendeu como a produção quebra -