Wie schneidet Pangram im Vergleich zu GPTZero ab?

Der Markt für KI-Erkennungssoftware wird derzeit von mehreren großen Anbietern dominiert. Vielleicht haben Sie schon von ihnen gehört: Pangram, GPTZero, Turnitin, ZeroGPT und andere. Einen umfassenden Überblick darüber, wie diese Tools im Vergleich abschneiden, finden Sie in unserem Leitfaden zu den derzeit besten KI-Erkennungsprogrammen.

Viele dieser Unternehmen aktualisieren ihre Modelle regelmäßig und veröffentlichen Zahlen zu ihrer Leistungsfähigkeit. Vor kurzem hat GPTZero ein Sommer-Modellupdate durchgeführt und neue Leistungsdaten für eine Reihe neuer Modelle veröffentlicht. In diesem Blogbeitrag werden wir die Leistungsfähigkeit des neuen Modells von GPTZero mit der KI-Erkennung von Pangram vergleichen, einschließlich der neuesten GPT-5-Modelle.

Pangram vs. GPTZero: Veröffentlichte Zahlen

Hinweis: GPTZero veröffentlicht seine internen Bewertungsdatensätze nicht, daher stammen diese Zahlen nicht aus genau denselben Dokumenten. Darüber hinaus gibt GPTZero die Anzahl der getesteten Dokumente nicht bekannt, sodass wir auch die Menge nicht vergleichen können. Was jedoch die Leistungsdaten von Pangram betrifft, so haben wir pro Modell Tausende von Dokumenten sowie eine Vielzahl von Themenbereichen und Prompt-Schemata ausgewertet, um den realen Einsatz zu simulieren.

Darüber hinaus beschränkt sich die Genauigkeit von Pangram nicht nur darauf, die meisten KI-Dokumente zu identifizieren. Pangram ist auch Marktführer bei der Minimierung der Falsch-Positiv-Rate. Es ist uns ein großes Anliegen, von Menschen verfasste Dokumente nicht als KI-generiert zu kennzeichnen. Nachstehend sind die Unterschiede bei den gemeldeten Falsch-Positiv-Raten von Pangram und GPTZero aufgeführt:

Blogbeitrag zur Falsch-Positiv-Rate von GPTZero

Hier sehen wir, dass die Leistungsberichterstattung von GPTZero eine Falsch-Positiv-Rate (FPR) von 1 % angibt.

Was zeigen die Forschungsergebnisse? Pangram vs. GPTZero

Pangram und GPTZero wurden auch in begutachteten Forschungsarbeiten zum Thema KI miteinander verglichen. Dies kommt am besten in der aktuellen Studie der University of Maryland zum Ausdruck :„Personen, die ChatGPT häufig für Schreibaufgaben nutzen, sind zuverlässige und treffsichere Erkenner von KI-generierten Texten.“ Diese Studie untersuchte die Fähigkeit erfahrener menschlicher Gutachter, den Unterschied zwischen von Menschen verfassten und von KI generierten Texten zu erkennen.

Im Rahmen der Studie wurden die menschlichen Prüfer mit kommerziell erhältlichen und Open-Source-Detektoren verglichen. Pangram schnitt besser ab als jeder einzelne menschliche Prüfer und auch besser als alle kommerziellen Alternativen, einschließlich GPTZero.

Mehrsprachigkeit

Die Unterschiede zwischen dem Flaggschiffmodell von Pangram und GPTZero enden hier jedoch nicht. Beide Modelle sind „mehrsprachig“, was bedeutet, dass sie KI-Inhalte nicht nur im Englischen, sondern auch in anderen Sprachen erkennen können. Pangram ist in allen 20 meistgenutzten Sprachen im Internet mehrsprachig. GPTZero unterstützt Englisch, Französisch und Spanisch. Hier sind die Sprachen, in denen die jeweiligen Modelle getestet wurden:

Weitere Informationen zur Leistung von Pangram bei mehrsprachigen Texten finden Sie in diesem Blogbeitrag

ESL-Leistung

Zudem wurden beide Modelle unter besonderer Berücksichtigung der Leistung bei ESL-Texten trainiert, da die weit verbreitete Befürchtung besteht, dass KI-Detektoren gegenüber Nicht-Muttersprachlern voreingenommen sein könnten. Sowohl GPTZero als auch Pangram haben Ergebnisse speziell zu ESL-Texten veröffentlicht. Sehen Sie unten, wie sie im Vergleich abschneiden:

Weitere Informationen über Pangrams Ansatz für ESL-Texte finden Sie in diesem Blogbeitrag: https://www.pangram.com/blog/how-accurate-is-pangram-ai-detection-on-esl

Unveröffentlichte Modelle und GPT-5

Ein weiterer wichtiger Aspekt für diejenigen, die auf der Suche nach einer KI-Erkennungslösung sind, ist die Leistungsfähigkeit bei noch nicht veröffentlichten Modellen. Da sich der Wettstreit im KI-Bereich weiter verschärft, veröffentlichen sowohl große KI-Forschungslabore als auch kleine Start-ups regelmäßig wichtige Modelle. Es ist wichtig, dass eine KI-Erkennungslösung auch bei Modellen, auf denen sie möglicherweise nicht direkt trainiert wurde, weiterhin präzise Ergebnisse liefert.

Die kürzliche Veröffentlichung von GPT-5 bot eine hervorragende Gelegenheit, dies herauszufinden! Nur wenige Stunden nach der Veröffentlichung des neuen Modells testete das Pangram-Team die Leistung von GPTZero und Pangram anhand verschiedener Arten von Eingabeaufforderungen. Hier sind die Ergebnisse:

Hinweis: GPTZero hat inzwischen ein Modell-Update veröffentlicht, das angeblich bei GPT-5 eine bessere Leistung erbringt! Weitere Einzelheiten zu unserem ursprünglichen Vergleich finden Sie in diesem Blogbeitrag. Darüber hinaus empfehlen wir den Nutzern, eigene Tests durchzuführen, um die Leistung zu jedem beliebigen Zeitpunkt zu vergleichen.

Fazit

Letztendlich bleibt Pangram die bewährte und zuverlässige Wahl für die Erkennung von KI-generierten Inhalten. Ganz gleich, ob Sie Lösungen für den Bildungsbereich, das Verlagswesen, die Content-Moderation oder ganz spezielle Anforderungen benötigen – wir bieten Ihnen eine präzise und faire KI-Erkennung. Erfahren Sie mehr in unserem Blog oder kontaktieren Sie uns unter info@pangram.com.