Porównanie narzędzi, metod i hostowanych samodzielnie wiki PKM.
Zarządzanie osobistą wiedzą obejmuje Obsidian, Logseq, DokuWiki, Zettelkasten oraz metodę PARA – właściwy wybór zależy od tego, czy preferujesz lokalny graf notatek, hostowaną samodzielnie wiki, czy też przepływ pracy oparty na outlinerach.
Subskrypcje Claude’a nie są już wykorzystywane do zasilania agentów
Cicha luka, która napędzała falę eksperymentów z agentami, została teraz zamknięta.
Własne wyszukiwanie AI z lokalnymi modelami językowymi (LLM)
Vane to jedna z bardziej praktycznych pozycji w przestrzeni „AI z wyszukiwaniem i cytowaniami": samodzielnie hostowana silnia odpowiedziowa, która łąży pobieranie danych z sieci w czasie rzeczywistym z lokalnymi lub chmurowymi modelami LLM, zachowując jednocześnie pełną kontrolę nad całą infrastrukturą.
Zainstaluj TGI, wdrażaj szybko, debuguj jeszcze szybciej.
Text Generation Inference (TGI) ma bardzo specyficzną energię. Nie jest najmłodszym dzieckiem na ulicy inferencji, ale jest tym, które już nauczyło się, jak produkcja się psuje –
Szybkość generowania tokenów llama.cpp na VRAM 16 GB (tabele).
Porównuję tutaj prędkość działania kilku modeli LLM uruchamianych na GPU z 16 GB pamięci VRAM, wybierając najlepszy do samodzielnego hostowania.
RTX 5090 w Australii jest rzadkością i zawyżona cenowo.
Australia ma na stanie karty RTX 5090. Ledwie. A jeśli którąś znajdziesz, zapłacisz cenę, która wydaje się oderwana od rzeczywistości.
Zdalny dostęp do Ollamy bez otwierania portów publicznych
Ollama czuje się najlepiej, gdy jest traktowane jak lokalny demon: CLI i Twoje aplikacje komunikują się z API HTTP na pętli lokalnej (loopback), a reszta sieci nigdy nie dowiaduje się o jego istnieniu.
Serwer Ollama z pierwszeństwem kompozycji, obsługą GPU i trwałością danych.
Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.
HTTPS z Ollama bez przerywania strumieniowych odpowiedzi.
Uruchomienie Ollama za pośrednictwem proxy odwrotnego to najprostszy sposób na uzyskanie HTTPS, opcjonalnej kontroli dostępu oraz przewidywalnego zachowania strumieniowego.
RAG embeddings – Python, Ollama, API OpenAI.
Jeśli pracujesz nad generacją wspieraną odzyskiwaniem (RAG), ta sekcja wyjaśnia wektory tekstowe (embeddings) prostym językiem — czym są, jak pasują do wyszukiwania i odzyskiwania informacji, oraz jak wywołać dwa popularne lokalne rozwiązania z Pythonu przy użyciu Ollama lub kompatybilnego z OpenAI interfejsu HTTP (jakiego używają serwery oparte na llama.cpp).
Po wdrożeniu wyślij zaktualizowane URL do wyszukiwarek.
Strony statyczne i blogi zmieniają się przy każdym wdrożeniu. Silniki wyszukiwania obsługujące IndexNow mogą dowiedzieć się o tych zmianach bez czekania na kolejną ślepą indeksację.
SGLang – szybkie uruchamianie otwartych modeli.
SGLang to wysokowydajny framework do obsługi dużych modeli językowych i multimodalnych, zaprojektowany do zapewnienia niskiego opóźnienia i wysokiej przepustowości podczas wnioskowania, niezależnie od tego, czy działa na pojedynczej karcie GPU, czy w rozproszonych klastrach.
Gorące wymiana lokalnych modeli LLM bez konieczności zmiany klientów.
Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.
Zainstaluj Kafkę 4.2 i przetwarzaj zdarzenia w kilka minut.
Apache Kafka 4.2.0 to obecnie wspierana linia wydań i stanowi najlepszą bazę do nowoczesnego szybkiego startu, ponieważ Kafka 4.x jest w pełni pozbawiona ZooKeepera i domyślnie opiera się na KRaft.
Większość lokalnych konfiguracji AI zaczyna od modelu i środowiska uruchomieniowego.
Co tak naprawdę dzieje się, gdy uruchamiasz Ultrawork.
Oh My Opencode obiecuje „wirtualny zespół deweloperski AI" — Sisyphus koordynuje specjalistów, zadania są wykonywane równolegle, a magiczne słowo kluczowe ultrawork uruchamia całą tę machinę.
