Cheatsheet

Tryb routera w llama.cpp to jedna z najbardziej przydatnych zmian wprowadzonych do llama-server w ciągu ostatnich lat. Wreszcie daje lokalnym operatorom modeli LLM coś w rodzaju zarządzania modelami, do którego są przyzwyczajeni z Ollama, jednocześnie zachowując surową wydajność i kontrolę na niskim poziomie, która sprawia, że warto korzystać z llama.cpp w pierwszej kolejności.

Ta strona stanowi praktyczny przewodnik do dostrajania wnioskowania agenticznego LLM (temperatura, top_p, top_k, kary i ich wzajemne oddziaływania w wieloetapowych przepływach pracy oraz w scenariuszach intensywnie wykorzystujących narzędzia).

Hermes Agent od Nous Research to agnostyczny względem modelu asystent wykorzystujący narzędzia, który można uruchamiać lokalnie lub na serwerze VPS.

Większość stosów agentów AI nadal traktuje bezpieczeństwo jako poprawkę wprowadzaną po demonstracji. NemoClaw wychodzi z przeciwnej założenia i sprawia, że izolacja, polityki oraz routing są domyślnymi ustawieniami od pierwszego dnia.

Przez długi czas llama.cpp miał wyraźną wadę: można było obsługiwać tylko jeden model na proces, a przeladowanie wymagało restartu.

Pliki wsadowe i skrypty powłoki często wymagają krótkiej pauzy, aby okno uruchomione przez podwójne kliknięcie lub log instalatora pozostał widoczny. Wiersz poleceń Windows CMD posiada dedykowane polecenie pause. Powłoki Unixowe używają polecenia read.

SGLang to wysokowydajny framework do obsługi dużych modeli językowych i multimodalnych, zaprojektowany do zapewnienia niskiego opóźnienia i wysokiej przepustowości podczas wnioskowania, niezależnie od tego, czy działa na pojedynczej karcie GPU, czy w rozproszonych klastrach.

Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.

OpenHands to platform open-source, agnostyczna wobec modeli, służąca dla agentów oprogramowania napędzanych przez AI. Pozwala ona agentowi zachowywać się bardziej jak partner programistyczny, a nie jak proste narzędzie do autouzupełniania.

LocalAI to serwer inferencji typu self-hosted i first-local zaprojektowany tak, aby zachowywał się jak kompatybilny zamiennik API OpenAI do uruchamiania obciążeń AI na Twoim własnym sprzęcie (laptop, stacja robocza lub serwer lokalny).

Nieustannie wracam do llama.cpp do wnioskowania lokalnego – daje ono kontrolę, której Ollama i inne rozwiązania abstrahują, a po prostu działa. Łatwo uruchamiać modele GGUF interaktywnie za pomocą llama-cli lub narażać API HTTP zgodne z OpenAI za pomocą llama-server.

OpenCode to open-source agent do kodowania oparty na sztucznej inteligencji, którego można uruchamiać w terminalu (TUI + CLI) z opcjonalnymi interfejsami pulpitu i IDE. To Szybki start OpenCode: instalacja, weryfikacja, połączenie modelu/dostawcy oraz uruchamianie rzeczywistych procesów pracy (CLI + API).

Wybór odpowiedniego stacka do automatyzacji przeglądarki i webscrapingu w Go wpływa na szybkość, utrzymanie i miejsce, w którym działa kod.

Uruchamianie aplikacji na puli zadań w Ubuntu 24 (oraz w większości systemów desktopowych Linux) są zdefiniowane przez pliki .desktop: małe, tekstowe pliki konfiguracyjne, które opisują aplikację lub link.

Wybór odpowiedniego stosu automatyzacji przeglądarki w Pythonie wpływa na szybkość, stabilność i utrzymanie.
Ten przegląd porównuje
Playwright vs Selenium vs Puppeteer vs LambdaTest vs ZenRows vs Gauge –
z naciskiem na Pythona, przy jednoczesnym zauważeniu, gdzie JavaScript lub inne języki pasują.

Dwa silne opcje tworzenia interfejsów użytkownika terminala obecnie to BubbleTea (Go) i Ratatui (Rust). Jedna daje Ci opiniowany, stylowy framework w stylu Elm; druga – elastyczną, natychmiastową bibliotekę.