Wybierz odpowiedni przepływ pracy dla kontenerów.
Docker Compose i Podman Quadlet rozwiązują częściowo nakładające się problemy, ale pochodzą z różnych ośrodków projektowych. Wybór między nimi zależy od tego, czy myślisz w kategoriach stosów aplikacji, czy usług Linuxa.
Serwer Headless Hermes z dostępem do zdalnego pulpitu
Uruchamianie Hermes Agent na serwerze headless (bez interfejsu graficznego) z jednoczesnym połączeniem klienta desktopowego z innego komputera wymaga uruchomienia dwóch procesów po stronie serwera oraz jednego połączenia klienckiego.
Docker Compose uruchamiany przy starcie systemu, zarządzany przez systemd.
Skrypt Docker Compose na serwerze Linux powinien uruchamiać się przy starcie systemu, zatrzymywać się poprawnie przy wyłączaniu oraz przetrwać ponowne uruchomienia bez interwencji człowieka.
Wybierz właściwą ścieżkę instalacji Dockera na systemie Ubuntu.
Instalacja Dockera na Ubuntu powinna być prostym zadaniem, ale w praktyce kilka opcji „w kształcie Dockera” rywalizuje o tę samą nazwę polecenia, każda z inną pakietacją, zachowaniem podczas aktualizacji oraz implikacjami bezpieczeństwa.
Niezawodne wzory oparte na zapytywaniu dla agentów AI.
Agenci pollingowi to jedna z najmniej glamour części architektury asystentów AI, ale jednocześnie jedna z najbardziej przydatnych.
Diagramy jako kod, bez zbędnych komplikacji.
Mermaid to narzędzie do tworzenia diagramów oparte na tekście, przeznaczone dla osób, które wolą pisać diagramy niż przeciągać kwadraty po płótnie. Wykorzystuje składnię podobną do Markdownu do opisu schematów blokowych, diagramów sekwencji, diagramów klas, maszyn stanów, osi czasu, diagramów Gantta, diagramów relacji encji i wielu innych.
Jak naprawdę buduje się poważnych asystentów.
Produkcjny asystent AI to nie „LLM z promptem”. To system, który przyjmuje intencję, utrzymuje stan, decyduje, kiedy pobierać dane lub wykonywać akcje, oraz udostępnia wystarczająco szczegółowych danych środowiska uruchomieniowego do debugowania awarii.
Darmowa pamięć VRAM bez zabijania llama-server.
Tryb routera w llama.cpp to jedna z najbardziej przydatnych zmian wprowadzonych do llama-server w ciągu ostatnich lat. Wreszcie daje lokalnym operatorom modeli LLM coś w rodzaju zarządzania modelami, do którego są przyzwyczajeni z Ollama, jednocześnie zachowując surową wydajność i kontrolę na niskim poziomie, która sprawia, że warto korzystać z llama.cpp w pierwszej kolejności.
Kontroluj obciążenie Hermes Kanban w Twoim własnym, lokalnie hostowanym modelu LLM.
Hermes Agent dostarcza tablicę w stylu Kanban oraz Hermes Gateway, które mogą przytłoczyć Twoją własną samohostowaną LLM, jeśli jednocześnie zostanie uruchomionych zbyt wiele zadań.
Serwuj i podmieniaj modele LLM bez konieczności restartów.
Przez długi czas llama.cpp miał wyraźną wadę: można było obsługiwać tylko jeden model na proces, a przeladowanie wymagało restartu.
Najpierw wtyczki. Krótko o nazewnictwie umiejętności.
Ten artykuł dotyczy wtyczek OpenClaw — natywnych pakietów bramkowych, które dodają kanały, dostawców modeli, narzędzia, funkcje głosowe, pamięć, media, wyszukiwanie w sieci oraz inne warstwy środowiska wykonawczego.
Instalacja i szybki start agenta Hermes dla programistów
Hermes Agent to samodzielnie hostowany, agnostyczny względem modelu asystent AI, który działa na lokalnym komputerze lub tanim VPS, współpracuje przez interfejs terminala i wiadomości oraz z czasem udoskonala swoje działanie, przekształcając powtarzalne zadania w wielokrotnego użytku umiejętności.
Zdalny dostęp do Ollamy bez otwierania portów publicznych
Ollama czuje się najlepiej, gdy jest traktowane jak lokalny demon: CLI i Twoje aplikacje komunikują się z API HTTP na pętli lokalnej (loopback), a reszta sieci nigdy nie dowiaduje się o jego istnieniu.
Serwer Ollama z pierwszeństwem kompozycji, obsługą GPU i trwałością danych.
Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.
HTTPS z Ollama bez przerywania strumieniowych odpowiedzi.
Uruchomienie Ollama za pośrednictwem proxy odwrotnego to najprostszy sposób na uzyskanie HTTPS, opcjonalnej kontroli dostępu oraz przewidywalnego zachowania strumieniowego.
Strumieniowanie z zachowaniem stanu, punkty kontrolne, K8s, PyFlink, Go.
Apache Flink to framework do obliczeń z pamięcią stanu (stateful computations) nad nieograniczonymi i ograniczonymi strumieniami danych.
