SelfHosting

Znasz ten schemat. Otwierasz czat z agentem AI, opisujesz swój projekt, dzielimy się preferencjami, wykonujemy jakąś pracę i zamykamy kartę. Wraca się tydzień później i okazuje się, że rozmawia się z obcym – cały kontekst zniknął, wszystkie preferencje zostały zapomniane, a projekt trzeba wyjaśnić od podstaw.

OpenClaw nie przeszedł fiasko jako produkt. Utrał swoje paliwo.

Długo czas llama.cpp miało oczywistą ograniczenie:
można było obsłużyć tylko jeden model na proces, a zmiana wymagała restartu.

Zarządzanie osobistą wiedzą obejmuje Obsidian, Logseq, DokuWiki, Zettelkasten oraz metodę PARA – właściwy wybór zależy od tego, czy preferujesz lokalny graf notatek, hostowaną samodzielnie wiki, czy też przepływ pracy oparty na outlinerach.

Asystent AI Hermes, oficjalnie dokumentowany jako Hermes Agent, nie jest pozycjonowany jako prosty interfejs czatu.

OpenClaw posiada dwie historie rozszerzeń, które łatwo pomylić.

Wtyczki rozszerzają środowisko wykonania. Umiejętności (Skills) rozszerzają zachowanie agenta.

Ten artykuł dotyczy wtyczek OpenClaw — natywnych pakietów bramkowych, które dodają kanały, dostawców modeli, narzędzia, funkcje głosowe, pamięć, media, wyszukiwanie w sieci oraz inne warstwy środowiska wykonawczego.

OpenClaw w demonstracjach wydaje się prosty.
W produkcji staje się systemem.

Vane to jedna z bardziej praktycznych pozycji w przestrzeni „AI z wyszukiwaniem i cytowaniami": samodzielnie hostowana silnia odpowiedziowa, która łąży pobieranie danych z sieci w czasie rzeczywistym z lokalnymi lub chmurowymi modelami LLM, zachowując jednocześnie pełną kontrolę nad całą infrastrukturą.

Hermes Agent to samodzielnie hostowany, niezależny od modelu asystent AI, który działa na lokalnym komputerze lub tangu VPS, współpracuje przez interfejsy terminalowe i komunikacyjne oraz z czasem się ulepsza, przekształcając powtarzalne zadania w wielokrotnego użytku umiejętności.

Text Generation Inference (TGI) ma bardzo specyficzną energię. Nie jest najmłodszym dzieckiem na ulicy inferencji, ale jest tym, które już nauczyło się, jak produkcja się psuje –

SGLang to wysokowydajny framework do obsługi dużych modeli językowych i multimodalnych, zaprojektowany do zapewnienia niskiego opóźnienia i wysokiej przepustowości podczas wnioskowania, niezależnie od tego, czy działa na pojedynczej karcie GPU, czy w rozproszonych klastrach.

Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.

Często powracam do llama.cpp do lokalnej inferencji – daje to kontrolę, którą Ollama i inne rozwiązania abstrahują, a po prostu to działa. Łatwo uruchamiać modele GGUF interaktywnie przy użyciu llama-cli lub wystawić kompatybilne z OpenAI HTTP API za pomocą llama-server.

Większość lokalnych konfiguracji AI zaczyna się w ten sam sposób: model, środowisko wykonawcze i interfejs czatu.

Wybór odpowiedniego headless CMS może zdecydować o sukcesie lub porażce Twojej strategii zarządzania treścią. Porównajmy trzy rozwiązania open source, które wpływają na to, jak programiści budują aplikacje oparte na treści.