Prędkość tokenów w llama.cpp na 16 GB VRAM (tabele).
Tutaj porównuję szybkość działania kilku LLM działających na GPU z 16 GB pamięci VRAM i wybieram najlepszy model do samodzielnego hostowania.
RTX 5090 w Australii jest rzadkością i zawyżona cenowo.
Australia ma na stanie karty RTX 5090. Ledwie. A jeśli którąś znajdziesz, zapłacisz cenę, która wydaje się oderwana od rzeczywistości.
Zdalny dostęp do Ollamy bez otwierania portów publicznych
Ollama czuje się najlepiej, gdy jest traktowane jak lokalny demon: CLI i Twoje aplikacje komunikują się z API HTTP na pętli lokalnej (loopback), a reszta sieci nigdy nie dowiaduje się o jego istnieniu.
Serwer Ollama z pierwszeństwem kompozycji, obsługą GPU i trwałością danych.
Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.
HTTPS z Ollama bez przerywania strumieniowych odpowiedzi.
Uruchomienie Ollama za pośrednictwem proxy odwrotnego to najprostszy sposób na uzyskanie HTTPS, opcjonalnej kontroli dostępu oraz przewidywalnego zachowania strumieniowego.
RAG embeddings – Python, Ollama, API OpenAI.
Jeśli pracujesz nad generacją wspieraną odzyskiwaniem (RAG), ta sekcja wyjaśnia wektory tekstowe (embeddings) prostym językiem — czym są, jak pasują do wyszukiwania i odzyskiwania informacji, oraz jak wywołać dwa popularne lokalne rozwiązania z Pythonu przy użyciu Ollama lub kompatybilnego z OpenAI interfejsu HTTP (jakiego używają serwery oparte na llama.cpp).
Po wdrożeniu wyślij zaktualizowane URL do wyszukiwarek.
Strony statyczne i blogi zmieniają się przy każdym wdrożeniu. Silniki wyszukiwania obsługujące IndexNow mogą dowiedzieć się o tych zmianach bez czekania na kolejną ślepą indeksację.
SGLang – szybkie uruchamianie otwartych modeli.
SGLang to wysokowydajny framework do obsługi dużych modeli językowych i multimodalnych, zaprojektowany do zapewnienia niskiego opóźnienia i wysokiej przepustowości podczas wnioskowania, niezależnie od tego, czy działa na pojedynczej karcie GPU, czy w rozproszonych klastrach.
Gorące wymiana lokalnych modeli LLM bez konieczności zmiany klientów.
Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.
Zainstaluj Kafka 4.2 i przesyłaj zdarzenia strumieniowe w ciągu kilku minut.
Apache Kafka 4.2.0 to obecnie wspierana linia wydania, a także najlepsze podstawy dla nowoczesnego przewodnika szybkiego startu, ponieważ Kafka 4.x jest w pełni niezależna od ZooKeepera i domyślnie zbudowana wokół KRaft.
Co tak naprawdę dzieje się, gdy uruchamiasz Ultrawork.
Oh My Opencode obiecuje „wirtualny zespół deweloperski AI" — Sisyphus koordynuje specjalistów, zadania są wykonywane równolegle, a magiczne słowo kluczowe ultrawork uruchamia całą tę machinę.
Zainstaluj Oh My Opencode i pracuj szybciej.
Oh My Opcode przekształca OpenCode w harnes do kodowania wieloagentowego: orchestrator deleguje zadania do specjalistycznych agentów działających równolegle.
Test modelu OpenCode LLM — statystyki kodowania i dokładności
Przetestowałem, jak OpenCode współpracuje z kilkoma lokalnie hostowanymi modelami LLM na Ollama i llama.cpp, a dla porównania dodałem kilka darmowych modeli z OpenCode Zen.
Poznajcie Sisyphusa oraz jego zespół specjalistycznych agentów.
Największy skok możliwości w OpenCode wynika z specjalistycznych agentów: celowego rozdzielenia orkiestracji, planowania, wykonania i badań.
Szybki start z CLI OpenHands w kilka minut
OpenHands to platform open-source, agnostyczna wobec modeli, służąca dla agentów oprogramowania napędzanych przez AI. Pozwala ona agentowi zachowywać się bardziej jak partner programistyczny, a nie jak proste narzędzie do autouzupełniania.
Uruchom własny serwer z API zgodnym z OpenAI przy użyciu LocalAI w kilka minut.
LocalAI to serwer inferencji typu self-hosted i first-local zaprojektowany tak, aby zachowywał się jak kompatybilny zamiennik API OpenAI do uruchamiania obciążeń AI na Twoim własnym sprzęcie (laptop, stacja robocza lub serwer lokalny).
