Self-Hosting

Modelos de Linguagem de Grande Escala (LLMs) são poderosos, mas em produção raramente queremos parágrafos livres. Em vez disso, queremos dados previsíveis: atributos, fatos ou objetos estruturados que você pode alimentar em um aplicativo. Isso é Saída Estruturada de LLM.

Para os fãs do KDE Plasma, duas distribuições Linux frequentemente surgem nas discussões: Kubuntu e KDE Neon. Elas podem parecer semelhantes — ambas vêm com o KDE Plasma como ambiente de desktop padrão, ambas são baseadas no Ubuntu e ambas são amigáveis para iniciantes.

Aqui estou comparando quanto VRAM a nova versão do Ollama alocava para o modelo em relação à versão anterior do Ollama. A nova versão é pior.

Este guia irá guiá-lo através do processo de alteração do endereço IP estático em um servidor Ubuntu.

Ollama tornou-se rapidamente uma das ferramentas mais populares para executar LLMs localmente. Sua interface de linha de comando simples e o gerenciamento de modelos streamlined o tornaram uma opção preferida para desenvolvedores que desejam trabalhar com modelos de IA fora da nuvem.

Mumble é um aplicativo de voz sobre IP (VoIP) gratuito e de código aberto, projetado principalmente para comunicação de voz em tempo real. Ele utiliza uma arquitetura cliente-servidor, onde os usuários se conectam a um servidor compartilhado para conversar entre si.

O Ollama hospedado localmente permite executar modelos de linguagem grandes na sua própria máquina, mas usá-lo via linha de comando não é amigável. Aqui estão vários projetos de código aberto que oferecem interfaces estilo ChatGPT que se conectam a uma instância local do Ollama.

Aplicações de monitoramento de carga da GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Aqui está um passo a passo para a instalação de um cluster K3s de 3 nós em servidores bare-metal (1 mestre + 2 workers).

Comparando distribuições de Kubernetes auto-hospedado para hospedagem em servidores bare-metal ou domésticos, focando na facilidade de instalação, desempenho, requisitos de sistema e conjunto de recursos.

Estou comparando variantes auto-hospedadas do Kubernetes adequadas para um homelab baseado em Ubuntu com 3 nós (16 GB de RAM, 4 núcleos cada), focando na facilidade de configuração e manutenção, suporte a volumes persistentes e LoadBalancers.

GitHub Actions é uma plataforma de automação e CI/CD dentro do GitHub, usada para compilar, testar e implantar seu código com base em eventos como pushes, pull requests ou em um horário agendado.

Aqui está um Docker Compose cheatsheet com exemplos anotados para ajudar você a dominar rapidamente arquivos e comandos do Compose.

Aqui está uma análise detalhada de Obsidian como uma ferramenta poderosa para gestão de conhecimento pessoal (PKM), explicando sua arquitetura, recursos, pontos fortes e como ela suporta fluxos de trabalho modernos de conhecimento.

A Nvidia está prestes a lançar o NVIDIA DGX Spark - um pequeno supercomputador de IA baseado na arquitetura Blackwell, com mais de 128 GB de RAM unificada e desempenho de IA de 1 PFLOPS. Um ótimo dispositivo para executar LLMs.

Vamos dar uma rápida olhada nos provedores e sistemas de análise web como Matomo, Plausible, Google e outros disponíveis para auto-hospedagem e compará-los.