Self-Hosting

Oto moje ulubione kroki podczas nowej instalacji Ubuntu 24.04. To, co lubię tutaj – nie muszę instalować sterowników NVidia! Są instalowane automatycznie.

Dokuwiki to samowystarczalny wikipedia, który można łatwo hostować lokalnie, bez konieczności korzystania z baz danych.
Wcześniej uruchamiałem go w wersji dockerowej, na moim własnym klastrze Kubernetes.

Porównajmy ceny najlepszych kart graficznych na poziomie konsumenckim, które są odpowiednie do LLM i ogólnie do AI.

Zobacz dokładnie na ceny RTX 5080 i RTX 5090. Slighty spadły.

Apache Airflow to otwarty platforma programowy, zaprojektowana do programistycznej tworzenia, harmonogramowania i monitorowania przepływów pracy – całkowicie w kodzie Pythona, oferując elastyczne i potężne alternatywy dla tradycyjnych, ręcznych lub opartych na interfejsie graficznym narzędzi do zarządzania przepływami pracy.

Ponieważ standardowy Ollama nie ma bezpośredniego interfejsu API do ponownego rangowania, musisz zaimplementować ponowne rangowanie przy użyciu Qwen3 Reranker w GO generując embeddingi dla par zapytań i dokumentów oraz oceniając je.

W tym teście porównuję, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo z angielskiego na niemiecki: porównanie, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo. Trzy strony, które przetestowałem, dotyczyły różnych tematów, miały ładny markdown z pewną strukturą: nagłówki, listy, tabele, linki itp.

To ta mała przykładowa wersja kodu Go do rerankingu, która wywołuje Ollama w celu wygenerowania wektorów dla zapytania oraz dla każdego kandydującego dokumentu, następnie sortuje malejąco według podobieństwa kosinusowego.

Dopiero trzy miesiące temu nie widzieliśmy RTX 5090 w sklepach, a teraz już są, ale ceny są nieco wyższe niż MRSP. Porównajmy najtańsze ceny RTX 5080 i RTX 5090 w Australii i zobaczmy, jak to wygląda.

YaCy to decentralizowany, peer-to-peer (P2P) silnik wyszukiwania zaprojektowany do działania bez centralnych serwerów, umożliwiający użytkownikom tworzenie lokalnych lub globalnych indeksów oraz wykonywanie wyszukiwań poprzez zapytania do rozproszonych par.

Najlepszy automatyczny system do pewnego wspaniałego zadania.

Modele Qwen3 Embedding i Reranker to najnowsze wersje w rodzinie Qwen, specjalnie zaprojektowane do zaawansowanych zadań w zakresie wstawiania tekstu, wyszukiwania i ponownego rangowania.

Już od dłuższego czasu męczy mnie ten uciążliwy problem, polegający na umieszczaniu miniatur z obrazów stron w katalogu statycznym. To dotyczy Mainroad, Rodster i podobnych tematów Hugo.

Jak liczba linii PCIe wpływa na wydajność LLM? Zależy to od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.

Następnym krokiem jest zaimplementowanie niektórych CI/CD i ustawienie Gitea Actions for Hugo website, to push website to AWS S3 automatycznie, gdy zostanie zaktualizowana gałąź master.

W bibliotece modeli Ollama znajdują się modele, które potrafią przekształcać zawartość HTML w Markdown, co jest przydatne w zadaniach konwersji treści.

W tym miejscu wymienię niektóre narzędzia wspomagane przez AI do kodowania oraz asystentów kodowania opartych na AI i ich pozytywne strony.