Jämförelse: Qwen3:30b vs GPT-OSS:20b

Jämförande av hastighet, parametrar och prestanda mellan dessa två modeller

Sidinnehåll

Här är en jämförelse mellan Qwen3:30b och GPT-OSS:20b som fokuserar på instruktionsföljande och prestandaparametrar, specifikationer och hastighet:

7 llamas

Arkitektur och Parametrar

Egenskap Qwen3:30b-instruct GPT-OSS:20b
Totala parametrar 30,5 miljarder 21 miljarder
Aktiverade parametrar ~3,3 miljarder ~3,6 miljarder
Antal lager 48 24
MoE-experter per lager 128 (8 aktiva per token) 32 (4 aktiva per token)
Uppmärksamhetsmekanism Grouped Query Attention (32Q /4KV) Grouped Multi-Query Attention (64Q /8KV)
Kontextfönster 32 768 naturliga; Upp till 262 144 förlängt 128 000 tokens
Tokenizer BPE-baserad, 151 936 vokabulär GPT-baserad, ≈ 200k vokabulär

Instruktionsföljande

  • Qwen3:30b-instruct är optimerad för instruktionsföljande med stark mänsklig preferensanpassning. Den utmärker sig i kreativt skrivande, rollspel, flervägsdialoger och flerspråkigt instruktionsföljande. Denna variant är finjusterad specifikt för att ge mer naturliga, kontrollerade och engagerande svar i linje med användarinstruktioner.
  • GPT-OSS:20b stöder instruktionsföljande men ligger generellt något efter Qwen3:30b-instruct när det gäller finjustering av instruktioner. Den erbjuder jämförbar funktionsanrop, strukturerad utdata och resonemangslägen men kan ligga efter i konversationsanpassning och kreativ dialog.

Prestanda och effektivitet

  • Qwen3:30b-instruct utmärker sig i matematiskt resonemang, kodning, komplexa logiska uppgifter och flerspråkiga scenarier som täcker 119 språk och dialekter. Dess “tänkande” läge tillåter förbättrat resonemang men medför högre minneskostnader.
  • GPT-OSS:20b uppnår prestanda jämförbar med OpenAI:s o3-mini-modell. Den använder färre lager men bredare experter per lager och naturlig MXFP4-kvantisering för effektiv inferens på konsumenthårdvara med lägre minneskrav (~16GB jämfört med högre för Qwen3).
  • GPT-OSS är cirka 33% mer minneseffektiv och snabbare på vissa hårdvarukonfigurationer, särskilt på konsument-GPU:er, men Qwen3 erbjuder ofta bättre anpassning och resonemangsdjup, särskilt i komplexa användningsfall.
  • Qwen3 har en längre tillgänglig förlängd kontextlängd (upp till 262 144 tokens) jämfört med GPT-OSS 128 000 tokens, vilket gynnar uppgifter som kräver mycket lång kontextförståelse.

Användningsrekommendation

  • Välj Qwen3:30b-instruct för användningsfall som kräver överlägsen instruktionsföljande, kreativ generering, flerspråkigt stöd och komplext resonemang.
  • Välj GPT-OSS:20b om minneseffektivitet, inferenshastighet på konsumenthårdvara och konkurrenskraftig baslinjeprestanda med färre parametrar är prioriterat.

Denna jämförelse visar Qwen3:30b-instruct som en djupare, mer kapabel modell med avancerad instruktionstuning, medan GPT-OSS:20b erbjuder ett mer kompakt, effektivt alternativ med konkurrenskraftig prestanda på standardbenchmarks.

Benchmarkpoäng som specifikt jämför Qwen3:30b-instruct och GPT-OSS:20b för instruktionsföljande och nyckelprestandaparametrar (MMLU, LMEval, HumanEval) finns inte direkt tillgängliga i sökresultaten. Baserat på befintliga publicerade flerspråkiga och fleruppgiftsbenchmarkrapporter:

MMLU (Massiv fleruppgiftsförståelse för språkmodeller)

Svårt att hitta detaljer, bara:

  • Qwen3-seriens modeller, särskilt vid 30B-skala och högre, visar starka MMLU-poäng som typiskt överstiger 89%, vilket indikerar mycket konkurrenskraftig kunskapsförståelse och resonemangsförmåga över 57 olika domäner.
  • GPT-OSS:20b presterar också bra på MMLU-benchmarks men brukar få lägre poäng än större Qwen-modeller på grund av färre parametrar och mindre betoning på instruktionstuning.

LMEval (Utvärderingsverktyg för språkmodeller)

Inte mycket detaljer för tillfället:

  • Qwen3-modeller visar betydande förbättringar i resonemang och kodrelaterade uppgifter inom LMEval, med förbättrade poäng på logik, matematiskt resonemang och allmänna förmågor.
  • GPT-OSS:20b erbjuder robust baslinjeprestanda på LMEval men ligger generellt efter Qwen3:30b-instruct på avancerade resonemangs- och instruktionsföljande deluppgifter.

HumanEval (Kodbanksutvärdering)

Inte mycket data, bara:

  • Qwen3:30b-instruct visar stark prestanda på flerspråkiga kodgenereringsbenchmarks som HumanEval-XL, stöder över 20 programmeringsspråk och erbjuder överlägsen korsspråklig kodgenereringsnoggrannhet.
  • GPT-OSS:20b, även om konkurrenskraftig, presterar något sämre än Qwen3:30b-instruct i HumanEval-benchmarks, särskilt i flerspråkiga och flerspråkiga programmeringssammanhang på grund av mindre omfattande flerspråkig träning.

Sammanfattande tabell (approximativa trender från litteraturen):

Benchmark Qwen3:30b-instruct GPT-OSS:20b Noteringar
MMLU-noggrannhet ~89-91% ~80-85% Qwen3 starkare i bred kunskap och resonemang
LMEval-poäng Hög, avancerat resonemang & kod Moderat, baslinje-resonemang Qwen3 utmärker sig i matematik och logik
HumanEval Hög flerspråkig kodgenereringsprestanda Moderat Qwen3 bättre i korsspråklig kodgenerering

Om exakta benchmarktal behövs, ger specialiserade flerspråkiga stora benchmark som P-MMEval och HumanEval-XL refererade i nyligen forskningsartiklar detaljerade poäng för modeller inklusive Qwen3 och jämförbara GPT-OSS-varianter, men dessa är inte offentligt sammanställda för direkt sida vid sida-poänghämtning vid detta tillfälle.

Qwen3:30b och GPT-OSS:20b hastighetsjämförelse

På min hårdvara (16GB VRAM) får jag Qwen3:30b och GPT-OSS:20b att köra med 4000 kontext fönster, och de producerar:

  • qwen3:30b-a3b => 45,68 tokens/s
  • gpt-oss:20b => 129,52 tokens/s

Och för jämförelse har jag också testat qwen3:14b och gpt-oss:120b

  • qwen3:14b => 60,12 tokens/s
  • gpt-oss:120b => 12,87 tokens/s

På längre kontextfönster kommer hastigheten att vara långsammare, i fallet med qwen3:30b-a3b troligen mycket långsammare. Detta gäller igen på min dator. Tekniska detaljer hämtade från detaljerad utdata och tilldelat minne visas nedan, kommandon att prova:

  • ollama run qwen3:30b-a3b –verbose describe weather difference between state capitals in australia
  • ollama ps visar minnesallokering på 4K kontext

qwen3:30b-a3b

NAMN             ID              STORLEK    PROCESSOR          KONTEXT    TILL
qwen3:30b-a3b    19e422b02313    20 GB    23%/77% CPU/GPU    4096       4 minuter kvar
total duration:       28.151133548s
load duration:        1.980696196s
prompt eval count:    16 token(s)
prompt eval duration: 162.58803ms
prompt eval rate:     98.41 tokens/s
eval count:           1188 token(s)
eval duration:        26.007424856s
eval rate:            45.68 tokens/s

qwen3:30b-thinking

NAMN         ID              STORLEK    PROCESSOR    KONTEXT    TILL
qwen3:30b-thinking    ad815644918f    20 GB    23%/77% CPU/GPU    4096       4 minuter kvar
total duration:       1m8.317354579s
load duration:        1.984986882s
prompt eval count:    18 token(s)
prompt eval duration: 219.657034ms
prompt eval rate:     81.95 tokens/s
eval count:           2722 token(s)
eval duration:        1m6.11230524s
eval rate:            41.17 tokens/s

gpt-oss:20b

NAMN         ID              STORLEK    PROCESSOR    KONTEXT    TILL
gpt-oss:20b    aa4295ac10c3    14 GB    100% GPU     4096       4 minuter kvar
total duration:       31.505397616s
load duration:        13.744361948s
prompt eval count:    75 token(s)
prompt eval duration: 249.363069ms
prompt eval rate:     300.77 tokens/s
eval count:           2268 token(s)
eval duration:        17.510262884s
eval rate:            129.52 tokens/s

qwen3:14b

NAMN         ID              STORLEK    PROCESSOR    KONTEXT    TILL
qwen3:14b    bdbd181c33f2    10 GB    100% GPU     4096       4 minuter kvar
total duration:       36.902729562s
load duration:        38.669074ms
prompt eval count:    18 token(s)
prompt eval duration: 35.321423ms
prompt eval rate:     509.61 tokens/s
eval count:           2214 token(s)
eval duration:        36.828268069s
eval rate:            60.12 tokens/s

gpt-oss:120b

NAMN            ID              STORLEK    PROCESSOR          KONTEXT    TILL
gpt-oss:120b    f7f8e2f8f4e0    65 GB    78%/22% CPU/GPU    4096       2 minuter kvar
49GB RAM + 14.4GB VRAM
total duration:       3m59.967272019s
load duration:        76.758783ms
prompt eval count:    75 token(s)
prompt eval duration: 297.312854ms
prompt eval rate:     252.26 tokens/s
eval count:           3084 token(s)
eval duration:        3m59.592764501s
eval rate:            12.87 tokens/s

Qwen3:30b varianter

Det finns tre varianter av qwen3:30b-modellen tillgängliga: qwen3:30b, qwen3:30b-instruct och qwen3:30b-thinking.

Nyckelskillnader & Rekommendationer

  • qwen3:30b-instruct är bäst för konversationer där användarinstruktioner, klarhet och naturlig dialog prioriteras.
  • qwen3:30b är grundmodellen, lämplig om både instruktionsföljande och verktygsanvändning är viktigt över diverse uppgifter.
  • qwen3:30b-thinking utmärker sig när djupt resonemang, matematik och kodning är i fokus. Den presterar bättre än de andra i uppgifter som mäter logisk/matematisk noggrannhet men är inte nödvändigtvis bättre för kreativt skrivande eller avslappnade konversationer.

Direkt benchmarkjämförelse

Modell Resonemang (AIME25) Kodning (LiveCodeBench) Allmän kunskap (MMLU Redux) Hastighet & Kontext Ideal användningsfall
qwen3:30b 70,9 57,4 89,5 256K tokens; Snabb Allmän språk/agenter/flerspråkig
qwen3:30b-instruct N/A (Förväntas nära 30b) N/A ~Samma som 30b 256K tokens Instruktionsföljande, anpassning
qwen3:30b-thinking 85,0 66,0 91,4 256K tokens Matematik, kod, resonemang, långa dokument

Användbara länkar