LLM

Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.

Uruchomienie Ollama za pośrednictwem proxy odwrotnego to najprostszy sposób na uzyskanie HTTPS, opcjonalnej kontroli dostępu oraz przewidywalnego zachowania strumieniowego.

Jeśli pracujesz nad generacją wspieraną odzyskiwaniem (RAG), ta sekcja wyjaśnia wektory tekstowe (embeddings) prostym językiem — czym są, jak pasują do wyszukiwania i odzyskiwania informacji, oraz jak wywołać dwa popularne lokalne rozwiązania z Pythonu przy użyciu Ollama lub kompatybilnego z OpenAI interfejsu HTTP (jakiego używają serwery oparte na llama.cpp).

SGLang to wysokowydajny framework do obsługi dużych modeli językowych i multimodalnych, zaprojektowany do zapewnienia niskiego opóźnienia i wysokiej przepustowości podczas wnioskowania, niezależnie od tego, czy działa na pojedynczej karcie GPU, czy w rozproszonych klastrach.

Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.

Większość lokalnych konfiguracji AI zaczyna od modelu i środowiska uruchomieniowego.

Oh My Opencode obiecuje „wirtualny zespół deweloperski AI" — Sisyphus koordynuje specjalistów, zadania są wykonywane równolegle, a magiczne słowo kluczowe ultrawork uruchamia całą tę machinę.

Oh My Opcode przekształca OpenCode w harnes do kodowania wieloagentowego: orchestrator deleguje zadania do specjalistycznych agentów działających równolegle.

Przetestowałem, jak OpenCode współpracuje z kilkoma lokalnie hostowanymi modelami LLM na Ollama i llama.cpp, a dla porównania dodałem kilka darmowych modeli z OpenCode Zen.

Największy skok możliwości w OpenCode wynika z specjalistycznych agentów: celowego rozdzielenia orkiestracji, planowania, wykonania i badań.

OpenHands to platform open-source, agnostyczna wobec modeli, służąca dla agentów oprogramowania napędzanych przez AI. Pozwala ona agentowi zachowywać się bardziej jak partner programistyczny, a nie jak proste narzędzie do autouzupełniania.

LocalAI to serwer inferencji typu self-hosted i first-local zaprojektowany tak, aby zachowywał się jak kompatybilny zamiennik API OpenAI do uruchamiania obciążeń AI na Twoim własnym sprzęcie (laptop, stacja robocza lub serwer lokalny).

Często powracam do llama.cpp do lokalnej inferencji – daje to kontrolę, którą Ollama i inne rozwiązania abstrahują, a po prostu to działa. Łatwo uruchamiać modele GGUF interaktywnie przy użyciu llama-cli lub wystawić kompatybilne z OpenAI HTTP API za pomocą llama-server.

Sztuczna inteligencja przekształca sposób, w jaki pisany, recenzowany, wdrażany i utrzymywany jest kod oprogramowania. Od asystentów kodu AI, przez automatyzację GitOps i procesy DevOps, programiści coraz bardziej polegają na narzędziach zasilanych AI w całym cyklu życia oprogramowania.

OpenCode to open-source agent do kodowania oparty na sztucznej inteligencji, którego można uruchamiać w terminalu (TUI + CLI) z opcjonalnymi interfejsami pulpitu i IDE. To Szybki start OpenCode: instalacja, weryfikacja, połączenie modelu/dostawcy oraz uruchamianie rzeczywistych procesów pracy (CLI + API).

Inferencja LLM wygląda jak „kolejny API" – dopóki nie pojawią się skoki opóźnień, kolejki nie zaczną się zalegać, a Twoje karty GPU nie będą zużywać 95% pamięci bez wyraźnego wyjaśnienia.