Porównanie strategii chunkowania w RAG
Chunking to najbardziej niedoceniany hiperparametr w Retrieval ‑ Augmented Generation (RAG): czynnie określa, co LLM “widzi”, jak drogie staje się przetwarzanie, i ile miejsca w oknie kontekstu LLM zużywa się na odpowiedź.
Kontroluj dane i modele za pomocą samodzielnie hostowanych LLMów
Autonomiczne hostowanie modeli językowych (LLM) umożliwia kontrolę nad danymi, modelami i wnioskowaniem – praktyczna droga do autonomii w zakresie AI dla zespołów, przedsiębiorstw i narodów.
Test prędkości LLM na RTX 4080 z 16 GB VRAM
Uruchamianie dużych modeli językowych lokalnie zapewnia prywatność, możliwość pracy offline oraz zero kosztów API.
Ten benchmark pokazuje dokładnie, co można się spodziewać od 14 popularnych
LLM na Ollama na RTX 4080.
Sprawdzenie cen GPU i RAM na styczniu 2025
Dziś zajmiemy się najwyższy poziom konsumentów GPU i modułami RAM. Konkretnie patrzę na ceny RTX-5080 i RTX-5090, oraz 32GB (2x16GB) DDR5 6000.
Wybierz odpowiedni terminal dla swojego przepływu pracy w Linuxie
Jednym z najważniejszych narzędzi dla użytkowników systemu Linux to symulator terminala.
Rzeczywiste ceny w AUD od australijskich detaliów teraz
The NVIDIA DGX Spark (GB10 Grace Blackwell) jest teraz dostępny w Australii w głównych sklepach z komputerami z lokalnym zapasem. Jeśli śledziliście cenę i dostępność DGX Spark na całym świecie, to interesujące będzie dla Was, że w Australii ceny oscylują od 6 249 do 7 999 AUD w zależności od konfiguracji pamięci i sklepu.
Testowanie Cognee z lokalnymi modelami LLM - rzeczywiste wyniki
Cognee to framework w Pythonie do budowania grafów wiedzy z dokumentów za pomocą LLM. Ale działa on z modelami samozhostowanymi?
Jak naprawiłem problemy sieciowe w Ubuntu
Po automatycznym zainstalowaniu nowego jądra, Ubuntu 24.04 straciła połączenie sieciowe ethernet. To irytujące pytanie wystąpiło u mnie drugi raz, dlatego dokumentuję rozwiązanie, aby pomóc innym, którzy napotkali ten sam problem.
Krótki wpis, tylko zaznaczam cenę
Z tą szalonym niestabilnością cen RAM, aby utworzyć lepszy obraz, najpierw sami śledź cenę RAM w Australii.
Ceny RAM wzrastają o 163–619%, ponieważ rosnąca popyt na AI naciska na podaż
Rynek pamięci doświadcza niezwykłej zmienności cen w późnym 2025 roku, z nadmierne wzrosty cen RAM obserwowane w całych segmentach.
Ceny konsumentских GPU odpowiednich do AI - RTX 5080 i RTX 5090
Porównajmy ceny najnowszych kart graficznych dla użytkowników końcowych, które są szczególnie odpowiednie do LLM, a także ogólnie do AI. Konkretnie zajmuję się cenami RTX-5080 i RTX-5090.
Wdrażaj sztuczną inteligencję na poziomie przedsiębiorstwa na sprzęcie o niskim koszcie za pomocą otwartych modeli
Demokratyzacja AI jest tu. Z powodu otwartych źródeł LLM takich jak Llama 3, Mixtral i Qwen, które teraz rywalizują z modelami prywatnymi, zespoły mogą tworzyć potężną infrastrukturę AI za pomocą sprzętu konsumenta - znacznie obniżając koszty, jednocześnie utrzymując pełną kontrolę nad prywatnością danych i wdrażaniem.
Włącz przyspieszenie GPU dla Docker Model Runner z obsługą NVIDIA CUDA
Docker Model Runner to oficjalne narzędzie firmy Docker do uruchamiania modeli AI lokalnie, ale włączanie przyspieszenia GPU od firmy NVidia w Docker Model Runner wymaga konkretnej konfiguracji.
Wyniki testów GPT-OSS 120b na trzech platformach AI
Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).
Szybki przewodnik po poleceniach Docker Model Runnera
Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych poleceniach, konfiguracjach i najlepszych praktykach.
