Gemma2 vs Qwen2 vs Mistral Nemo vs...

Testen der Erkennung logischer Fehlschlüsse

Inhaltsverzeichnis

Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.

Für weitere Informationen zur LLM-Performance – Durchsatz vs. Latenz, VRAM-Grenzen und Benchmarks über Laufzeiten und Hardware – siehe LLM-Performance: Benchmarks, Engpässe & Optimierung.

Presenting mistral nemo

Was und wie wir es tun

In unseren vorherigen Tests haben wir bereits getestet, wie LLM logische Fehlschlüsse erkennen - llama3 vs phi3 vs others. Sie tun dies ziemlich gut, wir haben die Ergebnisse von llama3-8b-Q8 und phi3-medium-4k-instruct-q6_K sehr gemocht.

In diesem Test tun wir dasselbe, diesmal mit Gemma2, Qwen2 und Mistral Nemo.

Wir testen die besten Modelle, die möglich sind, aber sie müssen unsere Einschränkungen erfüllen – sie müssen in unsere Consumer-GPU passen, die 16 GB VRAM hat. Mit diesem Kriterium im Hinterkopf haben wir folgende Quantisierungen ausgewählt:

  • gemma2:9b-instruct-q8_0
  • gemma2:27b-instruct-q3_K_L
  • mistral-nemo:12b-instruct-2407-q8_0
  • qwen2:7b-instruct-q8_0

und diese qwen2 Version:

  • qwen2:72b-instruct-q2_K

Sie hat eine Größe von 29 GB, aber lassen Sie uns sie dennoch testen.

Bitte beachten Sie hier, dass wir nicht auf die Verwendung der ‘Standard’-Quantisierung q4 zurückgreifen. Wenn q8 in unsere GPU mit 16 GB VRAM passt – dann gehen wir dafür, versuchen Sie das Beste in unseren Umständen.

DT;DR: Das Ergebnis

Frühere Modelle, die wir getestet haben, finden Sie in Erkennung logischer Fehlschlüsse mit LLMs. Bitte sehen Sie in diesem Beitrag, was wir testen und jetzt.

Hier ist die aktualisierte Tabelle, in der unsere neuen Modelle in Fettschrift sind.

ModelVersion GPU RAM A2CS Straw man Ad homi-nem Red Herring Appeal to igno-rance Appeal to autho-rity False dicho-tomy Hasty Gene-rali-zation Begging the Ques-tion Slippery Slope Post hoc ergo propter hoc Tu quo-que Other
l3:8b-i-q4_0 5,8 GB V V V V V V
l3:8b-i-q8_0 9,1 GB V V V V V V
l3:8b-i-fp16 9,1 GB V V V V V
p3:3.8b 4,3 GB V V V V V V
p3:3.8b-mini-4k-i-q8_0 5,8 GB V V V V V V V V V
p3:3.8b-mini-i-4k-fp16 8,9 GB V V V V V V
p3:14b 9,3 GB V V V V
p3:14b-m-4k-i-q6_K 12,5 GB V V V V V V
p3:14b-m-4k-i-q8_0 15,3 GB V V V V V
mi:7b-i-v0.3-q4_0 4,3 GB V V V V V V V V V
mi:7b-i-v0.3-q8_0 8,6 GB V V V V V V
mi:7b-i-v0.3-fp16 14,7 GB V V V
ge:7b-i-v1.1-q4_0 7,2 GB V V V V
ge:7b-i-v1.1-q6_K 9,1 GB V V V V V
ge:7b-i-v1.1-fp16 15,5 GB V V V V V
qw:14b-chat-v1.5-q8_0 15,2 GB V V V V V
qw:7b-chat-v1.5-fp16 15,5 GB V V V V
qw:32b-chat-v1.5-q3_K_S 15,1 GB V V V V
qw:32b-chat-v1.5-q3_K_M 15,4 GB V V V V V V V V
ge2:9b-i-q8_0 9,0 GB V V V V
ge2:27b-i-q3_K_L 14,0 GB V V V
mi-nemo:12b-i-.q8_0 13,0 GB V V V V
qw2:7b-i-q8_0 8,1 GB V V V V V V
qw2:72b-i-q2_K 29,0 GB V V V

Kurzformen in Namen logischer Fehlschlüsse: A 2 CS=Berufung auf Allgemeinverstand

Kurzformen in Modellnamen:

  • l3=llama3
  • p3=phi3
  • i=instruct
  • m=medium
  • mi=mistral
  • ge=gemma
  • qw=qwen
  • ge2=gemma2
  • qw2=qwen2

Übersimplifizierung=Falsche Dilemma

Schlussfolgerung

Wir erwarten, dass LLMs in einem Beispieltext die Strawman-Fehlschlüsse, Ad Hominem, Berufung auf Autorität und Übersimplifizierung erkennen.

Die meisten neuen Modelle können in unserem Beispieltext die Berufung auf Autorität erkennen, und einige erkennen Ad Hominem, einige Übersimplifizierung. Gute Ergebnisse zeigten qwen2:7b-instruct-q8_0 und gemma2:9b-instruct-q8_0.

Aber dennoch bleiben die Gewinner dieselben.

Das Modell der Wahl des Redakteurs ist phi3:14b-medium-4k-instruct-q6_K. Es passt leicht in 16 GB RAM und ist ziemlich intelligent. Der zweite Platz geht an phi3:3.8b-mini-4k-instruct-q8_0. Die Gruppe der llama3-Modelle ist ebenfalls gut.

Mistral Nemo

Lassen Sie uns zuerst die Ergebnisse von Mistral Nemo überprüfen, obwohl sie nicht die besten sind, weil sie einen attraktiven Roboter auf ihrem Bild haben.

Mistral nemo 12b

Modell: mistral-nemo:12b-instruct-2407-q8_0

Antwort:

Der von Ihnen bereitgestellte Satz enthält zwei Hauptlogikfehlschlüsse:

  1. Berufung auf Autorität (Argumentum ad Verecundiam): Der Sprecher beruft sich auf die Autorität eines ehemaligen Ministers für Inneres, ohne irgendeine spezifische Argumentation oder Beweise von dieser Person zu liefern. Sie nehmen einfach an, dass, weil diese Person eine bestimmte Position innehat, ihre Meinung als gültig angenommen werden sollte.

    • Fehlschluss: „als ehemaliger Minister für Inneres sollte man wissen.“

  2. Roter Hering (Irrelevante Schlussfolgerung): Der Sprecher beginnt mit einem scheinbar vernünftigen Argument („zu viele Menschen, zu wenig Häuser“), verwerft es jedoch ohne irgendeine Gegenargumentation oder Beweise. Stattdessen beruft er sich auf die Autorität des ehemaligen Ministers.

    • Fehlschluss: „Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig: zu viele Menschen, zu wenig Häuser. Aber es ist nie so einfach…“

Obwohl der Satz keine offensichtlich emotionalen Wörter verwendet, können die Berufung auf Autorität und der rote Hering-Fehlschluss immer noch als Form der Berufung auf Emotion in einem breiteren Sinne betrachtet werden, da sie versuchen, den Zuhörer aufgrund von Faktoren außerhalb rationaler Argumentation zu überzeugen.

Basierend auf dem von Ihnen bereitgestellten Satz sind mehrere logische Fehlschlüsse vorhanden:

  1. Ad Hominem: Dies ist ein Angriff, der gegen die Person gerichtet ist, die das Argument macht, und nicht gegen das Argument selbst. In diesem Fall wird impliziert, dass der Sprecher aufgrund seiner Erfahrung als ehemaliger Minister für Inneres wissen sollte, dass Dinge nicht einfach sind. Der Satz suggeriert, dass sein Nichtverstehen (oder möglicherweise Missverständnis) aufgrund seiner früheren Rolle liegt, anstatt die Substanz des Arguments zu adressieren.

  2. Berufung auf Komplexität: Dieser Fehlschluss tritt auf, wenn jemand Komplexität als Ausrede für nicht tiefes Nachdenken über ein Problem oder für das Verwerfen von Beweisen oder Argumenten verwendet, die gegen seine eigene Position laufen. In diesem Kontext könnte „es ist nie so einfach“ als eine Weise gesehen werden, das ursprüngliche Argument ohne tatsächliche Behandlung seiner Vorteile zu verwerfen.

Obwohl der Satz selbst keine offensichtliche Berufung auf Emotion enthält, können Fehlschlüsse wie Ad Hominem und Berufung auf Komplexität manchmal subtil auf Emotionen wie Verachtung oder Frustration mit übermäßig vereinfachten Argumenten abzielen. Allerdings sind diese nicht direkt emotionale Berufungen in der gleichen Weise wie eine Aussage wie „Sie sollten zustimmen, weil Sie sich schlecht fühlen, wenn Sie nicht tun“.

Also, obwohl es tatsächlich logische Fehlschlüsse in diesem Satz gibt, sind sie nicht explizit emotionale Berufungen.

Gemma 2 - 9b

Gemma 2 Logo

Modell: gemma2:9b-instruct-q8_0

Antwort:

Der Satz „Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig: zu viele Menschen, zu wenig Häuser. Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte“ enthält einige logische Fehlschlüsse:

  • Berufung auf Autorität: Der Satz beruht auf der vermeintlichen Autorität eines „ehemaligen Ministers für Inneres“, um das ursprüngliche Argument zu verwerfen. Der Sprecher nimmt an, dass, weil die Person eine Position der Macht innehat, ihre Meinung automatisch mehr Gewicht hat. Dieser Fehlschluss ignoriert die Möglichkeit, dass der Minister falsch liegen könnte oder dass seine Expertise nicht auf dieses spezifische Problem anwendbar ist.

  • Pooh-Pooh: Der Satz „es ist nie so einfach“ verwerfen das ursprüngliche Argument ohne irgendeine echte Gegenargumentation oder Beweise. Es ist eine abschließende Aussage, die darauf abzielt, die Konversation zu beenden, anstatt mit den vorgestellten Ideen zu interagieren.

Lassen Sie mich wissen, wenn Sie weitere Beispiele für logische Fehlschlüsse untersuchen möchten!

Der Satz „Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig: zu viele Menschen, zu wenig Häuser. Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte“ enthält einige logische Fehlschlüsse:

  • Berufung auf Autorität: Der Satz suggeriert implizit, dass, weil der Sprecher einen „ehemaligen Minister für Inneres“ erwähnt, seine Meinung mehr Gewicht hat. Dies nimmt an, dass das sein als ehemaliger Minister automatisch Expertise auf diesem bestimmten Thema verleiht.

  • Pooh-Pooh: Der Satz „es ist nie so einfach“ könnte als eine Form von Pooh-Poohing des ursprünglichen Arguments angesehen werden. Er verwerfen das einfache Argument ohne substantielle Gegenargumentation oder Exploration der Komplexitäten.

Lassen Sie mich wissen, wenn Sie andere Phrasen oder Argumente für Fehlschlüsse analysieren möchten!

Gemma 2 - 27b

Modell: gemma2:27b-instruct-q3_K_L

Antwort:

Der Satz „Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte“ verwendet den Fehlschluss der Berufung auf Autorität.

Hier sind die Gründe:

  • Es wird Expertise angenommen: Die Aussage impliziert, dass, weil die Person ein ehemaliger Minister für Inneres ist, sie automatisch besondere Kenntnisse über komplexe soziale Probleme wie Wohnungsengpässe hat.
  • Expertise ist nicht immer relevant: Obwohl ein ehemaliger Minister möglicherweise einige Einblicke in die Wohnungspolitik hat, macht seine Erfahrung ihn nicht automatisch zu einem Experten für alle Faktoren, die zu einem Wohnungsengpass beitragen.

Der Satz versucht, ein potenziell gültiges Argument („zu viele Menschen, zu wenig Häuser“) einfach deshalb zu verwerfen, weil es von jemandem kommt, der als nicht fachkundig im Bereich wahrgenommen wird.

Lassen Sie mich wissen, wenn Sie weitere Phrasen analysieren möchten!

Der Satz enthält einige Elemente, die logischen Fehlschlüssen ähneln, obwohl es sich nicht um einen klaren Fall handelt:

  • Berufung auf Autorität (schwach): „wie ein ehemaliger Minister für Inneres wissen sollte.“ Dies versucht, dem Argument Gewicht zu verleihen, indem es die vorherige Autorität des Sprechers anruft. Allerdings ist es schwach, da es keine spezifische Expertise oder Argumentation des Ministers liefert, die seine Position stützen.

  • Ad Hominem (potenziell): Abhängig vom Kontext und Ton könnte der Satz als ad hominem-Angriff gesehen werden, wenn er darauf abzielt, das Gegenargument einfach aufgrund dessen, wer es macht, zu diskreditieren, anstatt die tatsächliche Inhalt des Arguments zu adressieren. Zum Beispiel, wenn die Aussage impliziert, dass die Person nicht in der Lage ist, Wohnungspolitik zu verstehen weil sie ein Minister war, wäre das ein Ad Hominem.

Wichtiger Hinweis: Ohne weitere Kontextinformationen über das, was die Person tatsächlich argumentiert hat und den allgemeinen Ton, ist es schwierig, diese als starke Beispiele für Fehlschlüsse zu klassifizieren.

Lassen Sie mich wissen, wenn Sie weitere Phrasen haben, die ich analysieren soll!

Qwen 2 - 7b

Qwen 2 Logo

Modell: qwen2:7b-instruct-q8_0

Antwort:

Der von Ihnen bereitgestellte Satz enthält mehrere logische Fehlschlüsse:

  1. Berufung auf Emotionen (Argumentum ad Passiones): Die Aussage „Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig“ versucht, bei dem Zuhörer ein Gefühl von Vernünftigkeit und Einfachheit zu wecken, ohne substantielle Beweise oder Argumentation zu liefern.
  2. Roter Hering-Fehlschluss: Durch die Erwähnung, dass „ein ehemaliger Minister für Inneres wissen sollte“, führt der Sprecher ein irrelevantes Thema (die Kenntnis eines bestimmten Individuums) ein, um die Aufmerksamkeit vom eigentlichen Thema abzulenken, was den Zuhörer möglicherweise täuschen könnte, indem es suggeriert, dass die Person Kenntnis hat, wenn sie es nicht hat.
  3. Berufung auf Autorität-Fehlschluss: Obwohl nicht explizit in diesem Satz erwähnt, würde jemand, der behauptet, dass „ein ehemaliger Minister für Inneres“ etwas weiß, weil er ein ehemaliger Minister ist, einen Berufung auf Autorität-Fehlschluss begehen, indem er annimmt, dass seine Position ihm Expertise auf das Thema verleiht, ohne Beweise für seine spezifische Kenntnis oder Argumentation zu liefern.

Diese logischen Fehlschlüsse können die Stärke eines Arguments untergraben, indem sie auf Emotionen statt Logik und Relevanz abzielen.

Der von Ihnen bereitgestellte Satz:

„Schauen Sie, auf den ersten Blick klingt alles perfekt vernünftig: zu viele Menschen, zu wenig Häuser. Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte.“

enthält keine der in Ihrer Liste genannten Berufungen auf Emotionen (Berufung auf Emotionen). Allerdings könnten einige potenzielle logische Fehlschlüsse sein:

  • Ad Hominem, wenn dieser Zitat als Angriff gegen ein bestimmtes Individuum (’ehemaliger Minister für Inneres’) verwendet wird, anstatt dessen Argument zu adressieren.
  • Roter Hering-Fehlschluss: Es könnte ein Versuch geben, die Aufmerksamkeit von dem ursprünglichen Thema oder Argumenten abzulenken, indem irrelevanten Themen erwähnt werden, obwohl in dem Satz, den Sie bereitgestellt haben, kein offensichtlicher roter Hering vorhanden zu sein scheint.

Es gibt auch andere Fehlschlüsse, die nicht unter ‘Berufung auf Emotionen’ genannt werden, wie:

  • Falsches Dilemma: Ein komplexes Problem in einfache binäre Begriffe darzustellen, wodurch es nicht ausreichend diskutiert werden kann. Der bereitgestellte Satz impliziert diesen Fehlschluss nicht.
  • Berufung auf Autorität: Die Meinung oder Identität einer berühmten Person anstelle von gültigen Beweisen, um ein Argument zu stützen. Nicht anwendbar in Ihrem Zitat, da keine Autorität angesprochen wird.

Bitte klären Sie, wenn Sie einen anderen spezifischen Satz für die Analyse unter Berufung auf Emotionen meinten, und wir würden gerne helfen.

Qwen 2 - 72b

Ich weiß, dass das Übergewicht nicht aus unserem Bereich stammt, aber nur aus Neugier…

Modell: qwen2:72b-instruct-q2_K

Antwort:

Der bereitgestellte Satz enthält nicht direkt eine Berufung auf Emotionen, wie sie in der Liste der logischen Fehlschlüsse definiert ist. Allerdings impliziert er einen potenziellen logischen Fehlschluss, der als Berufung auf Autorität oder „Argument aus der Autorität“ bezeichnet wird. Dies ist, weil der Sprecher suggeriert, dass der ehemalige Minister für Inneres besser wissen sollte, was impliziert, dass die Autorität der Person den Standpunkt des Arguments mehr valide macht.

Der Satz verwendet nicht direkt eine emotionale Berufung, sondern nutzt die vermeintliche Kenntnis des ehemaligen Ministers für Inneres, um die Einfachheit des präsentierten Arguments zu untergraben. Dies kann in der Struktur des Satzes gesehen werden: „Aber es ist nie so einfach, wie ein ehemaliger Minister für Inneres wissen sollte.“

Zusammenfassend:

  • Logischer Fehlschluss vorhanden: Berufung auf Autorität
  • Definition: Eine Berufung auf Autorität tritt auf, wenn eine Aussage als wahr angesehen wird, basierend auf der Glaubwürdigkeit oder Expertise der Person, die die Aussage macht, anstatt auf die Stärke der Beweise.
  • Beispiel im Satz: „wie ein ehemaliger Minister für Inneres wissen sollte“ impliziert, dass die Meinung einer Person mit solcher Erfahrung mehr Gewicht hat und könnte verwendet werden, um einfachere Erklärungen zu verwerfen.

Der von Ihnen bereitgestellte Satz erweckt nicht notwendigerweise eine spezifische emotionale Reaktion; vielmehr appelliert er an das Wissen und die Erfahrung des Zuhörers, indem er suggeriert, dass einfache Erklärungen oft nicht die ganze Geschichte erzählen. Allerdings, wenn wir ihn auf potenzielle emotionale Berufung analysieren:

Berufung auf Autorität: Er erwähnt indirekt „einen ehemaligen Minister für Inneres“, der besser wissen sollte, als einfachen Erklärungen zu glauben. Dies könnte als indirekter Versuch gesehen werden, die Autorität und Glaubwürdigkeit der Komplexität des Problems zu unterstreichen, was subtil auf unsere Sehnsucht nach Expertenrat abzielen könnte.

Der Satz verwendet nicht direkt emotionale Berufungen wie Angst, Schuld, Spott, Wut, Hass, Ekel, Flattery, Mitleid, Patriotismus oder Pooh-Pooh, sondern erwähnt indirekt Autorität (appelliert an unseren Respekt und Gehorsam), um die Komplexität von Themen zu unterstreichen, die nicht einfach durch Schuldzuweisungen „zu viele Menschen“ für einen Mangel an Häusern gelöst werden können. Dies könnte auch mit folgendem zusammenhängen:

Berufung auf Vernunft: Es ermutigt uns, über einfache Lösungen hinauszublicken und zu erkennen, dass Probleme oft tiefer oder komplexer Ursachen haben als sie auf den ersten Blick erscheinen.

Insgesamt, obwohl keine starke emotionale Berufung offensichtlich in dem Satz vorhanden ist, versucht er, Autorität und Vernunft zu nutzen – Aspekte, die oft bei rationalen Entscheidungen geschätzt werden. Dies betont die Glaubwürdigkeit, oft geschätzt, wenn logische Fehlschlüsse analysiert werden, die Emotionen ohne solide Argumente manipulieren können.

Zu einer präzisen Klassifizierung emotionaler Berufungen könnte ein feinerer Version potenziell Elemente wie folgende beinhalten:

  • Angst: Subtil die Sorge um Übervereinfachung wecken, was Angst vor unangemessenen Komplexitäten auslösen könnte.
  • Ekel: Impliziter Abscheu gegenüber übervereinfachten Narrative könnte ausgelöst werden, wenn im Kontext von Kritik an oberflächlichen oder unwissenden politischen Diskussionen gestellt.

Allerdings sind diese indirekt und hängen stark von kontextuellen Nuancen in umgebenden Diskussionen ab. Ohne zusätzliche emotionale Inhalte oder spezifische Berufungen, die charakteristisch für definierte Fehlschlüsse sind (z. B. Angstschüren, offensichtliche Schuldzuweisung), ist dieser Satz hauptsächlich darauf ausgerichtet, durch Autorität zu argumentieren, anstatt Emotionen zu manipulieren. Dies positioniert ihn im Bereich der Glaubwürdigkeit, oft geschätzt, wenn logische Fehlschlüsse analysiert werden, die Emotionen ohne solide Argumente manipulieren können.

Zusammenfassend:

  • Der Satz verweist auf Autorität („ein ehemaliger Minister für Inneres“), was potenziell Respekt oder Vertrauen auslösen könnte (da es vorschlägt, Insiderwissen zu haben).
  • Er könnte subtil Angst vor Vereinfachung als Bedrohung auslösen (obwohl keine offensichtlichen Angsttaktiken hier verwendet werden).
  • Ein detaillierterer Kontext könnte erforderlich sein, um spezifische emotionale Berufungen zu klassifizieren, da inhärente Berufungen oft von der emotionalen Verbindung der Hörer mit Themen abhängen, die außerhalb des Satzes selbst liegen.

Erinnern Sie sich, dass Fehlschlüsse typischerweise logische Fehler beinhalten, aber oft auf tieferen, emotionalen, persönlichen Vorurteilen oder gesellschaftlichen Ängsten basieren – also macht dieser Satz seine Implikationen wert, sorgfältig zu analysieren, was Hörer subkonskient innerhalb breiterer Diskussionen verbinden könnten.

Um weitere Benchmarks, VRAM und Modellauswahl für 16 GB GPUs sowie Leistungsfeinabstimmung zu erkunden, prüfen Sie unsere LLM-Performance: Benchmarks, Engpässe & Optimierung Hub.