Szybkość generowania tokenów llama.cpp na VRAM 16 GB (tabele).
Porównuję tutaj prędkość działania kilku modeli LLM uruchamianych na GPU z 16 GB pamięci VRAM, wybierając najlepszy do samodzielnego hostowania.
Test prędkości LLM na RTX 4080 z 16 GB VRAM
Uruchamianie dużych modeli językowych lokalnie zapewnia prywatność, możliwość pracy offline oraz zero kosztów API.
Ten benchmark pokazuje dokładnie, co można się spodziewać od 14 popularnych
LLM na Ollama na RTX 4080.
Wyniki testów GPT-OSS 120b na trzech platformach AI
Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).
ASIC-y i dedykowane układy scalone zwiększają szybkość i efektywność inferencji w modelach LLM.
Przyszłość AI to nie tylko mądrzejsze modele. To również półprzewodniki dostosowane do sposobu, w jaki te modele są faktycznie obsługiwane. Specjalistyczne układy sprzętowe do wnioskowania LLM podążają ścieżką przypominającą ewolucję kopalni Bitcoina od GPU do dedykowanych układów ASIC, choć z jeszcze bardziej surowymi ograniczeniami, ponieważ modele i metody precyzji ciągle się ewoluują.
Porównanie prędkości, parametrów i wydajności tych dwóch modeli
Oto porównanie między Qwen3:30b a GPT-OSS:20b skupiające się na przestrzeganiu instrukcji i parametrach wydajności, specyfikacjach oraz prędkości.
Nie bardzo ładnie.
Modely GPT-OSS z Ollama mają powtarzające się problemy z obsługą strukturalnego wyjścia, szczególnie gdy są używane wraz z frameworkami takimi jak LangChain, OpenAI SDK, vllm i innymi.
Moje własne testy harmonogramowania modeli ollama
Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi z poprzednią wersją Ollama. Nowa wersja jest gorsza.
Czy myślisz o zainstalowaniu drugiej karty graficznej dla LLM?
Jak liczba linii PCIe wpływa na wydajność LLM? W zależności od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.
Ollama na procesorze Intel CPU: wydajność a jądra wydajne
Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel podniesie prędkość LLM? Zdenerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17GB na ollama) nie mieści się w 16GB VRAM mojej karty graficznej, a częściowo działa na procesorze.
AI wymaga dużej ilości mocy...
Wśród burzy współczesnego świata tutaj porównuję specyfikacje techniczne różnych kart odpowiednich do zadań AI
(uczenia głębokiego,
wykrywania obiektów
i modeli językowych).
Są one jednak ogromnie drogie.
Konfiguracja ollama do wykonywania równoległych żądań.
Gdy serwer Ollama otrzymuje dwa żądania jednocześnie, jego zachowanie zależy od konfiguracji i dostępnych zasobów systemowych.
Następny etap testów LLM
Nieco wcześniej wydano. Przejdźmy do sprawy i
testuj jak Mistral Small radzi sobie w porównaniu do innych LLM.
Testowanie wykrywania błędnego rozumowania
Niedawno widzieliśmy kilka nowych LLM, które zostały wydane. Wspaniałe czasy. Zróbmy test i zobaczmy, jak działają, gdy wykrywają błędy logiczne.
8 wersji llama3 (Meta+) i 5 wersji phi3 (Microsoft) LLM
Testowanie zachowania modeli o różnej liczbie parametrów i różnym stopniu kwantyzacji.
Sprawdźmy prędkość LLM na GPU vs CPU
Porównanie prędkości przewidywania kilku wersji LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na CPU i GPU.
