Test prędkości LLM na RTX 4080 z 16 GB VRAM
Uruchamianie dużych modeli językowych lokalnie zapewnia prywatność, możliwość pracy offline oraz zero kosztów API.
Ten benchmark pokazuje dokładnie, co można się spodziewać od 14 popularnych
LLM na Ollama na RTX 4080.
Wyniki testów GPT-OSS 120b na trzech platformach AI
Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).
Specjalistyczne procesory sprawiają, że wnioskowanie w AI jest szybsze i tańsze.
Przyszłość AI nie polega tylko na bardziej wyrafinowanych modelach – polega na bardziej wyrafinowanym krzemie.
Specjalistyczne sprzęty do wyznaczania wyników modeli językowych napędzają rewolucję podobną do przejścia górnictwa bitcoina na ASICy.
Porównanie prędkości, parametrów i wydajności tych dwóch modeli
Oto porównanie między Qwen3:30b a GPT-OSS:20b skupiające się na przestrzeganiu instrukcji i parametrach wydajności, specyfikacjach oraz prędkości.
Nie bardzo ładnie.
Modely GPT-OSS z Ollama mają powtarzające się problemy z obsługą strukturalnego wyjścia, szczególnie gdy są używane wraz z frameworkami takimi jak LangChain, OpenAI SDK, vllm i innymi.
Moje własne testy harmonogramowania modeli ollama
Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi z poprzednią wersją Ollama. Nowa wersja jest gorsza.
Czy myślisz o zainstalowaniu drugiej karty graficznej dla LLM?
Jak liczba linii PCIe wpływa na wydajność LLM? W zależności od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.
Ollama na procesorze Intel CPU: wydajność a jądra wydajne
Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel podniesie prędkość LLM? Zdenerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17GB na ollama) nie mieści się w 16GB VRAM mojej karty graficznej, a częściowo działa na procesorze.
AI wymaga dużej ilości mocy...
Wśród burzy współczesnego świata tutaj porównuję specyfikacje techniczne różnych kart odpowiednich do zadań AI
(uczenia głębokiego,
wykrywania obiektów
i modeli językowych).
Są one jednak ogromnie drogie.
Konfiguracja ollama do wykonywania równoległych żądań.
Gdy serwer Ollama otrzymuje dwa żądania jednocześnie, jego zachowanie zależy od konfiguracji i dostępnych zasobów systemowych.
Następny etap testów LLM
Nieco wcześniej wydano. Przejdźmy do sprawy i
testuj jak Mistral Small radzi sobie w porównaniu do innych LLM.
Testowanie wykrywania błędnego rozumowania
Niedawno widzieliśmy kilka nowych LLM, które zostały wydane. Wspaniałe czasy. Zróbmy test i zobaczmy, jak działają, gdy wykrywają błędy logiczne.
8 wersji llama3 (Meta+) i 5 wersji phi3 (Microsoft) LLM
Testowanie zachowania modeli o różnej liczbie parametrów i różnym stopniu kwantyzacji.
Sprawdźmy prędkość LLM na GPU vs CPU
Porównanie prędkości przewidywania kilku wersji LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na CPU i GPU.
