Wie schneidet Pangram im Vergleich zu GPTZero ab?

Der Markt für KI-Erkennungswerkzeuge besteht heute aus mehreren großen Anbietern. Vielleicht haben Sie schon von ihnen gehört: Pangram, GPTZero, Turnitin, ZeroGPT und andere. Einen umfassenden Überblick darüber, wie diese Tools im Vergleich abschneiden, finden Sie in unserem Leitfaden zu den derzeit besten KI-Erkennungswerkzeugen.

Viele dieser Unternehmen aktualisieren regelmäßig ihre Modelle und veröffentlichen Zahlen zu ihrer Leistung. Vor kurzem hat GPTZero ein Sommer-Modell-Update veröffentlicht und neue Zahlen zur Leistung verschiedener neuer Modelle bekannt gegeben. In diesem Blogbeitrag vergleichen wir die Leistung des neuen Modells von GPTZero mit der KI-Erkennung von Pangram, einschließlich der neuesten GPT-5-Modelle.

Pangram vs. GPTZero: Veröffentlichte Zahlen

Hinweis: GPTZero veröffentlicht seine internen Bewertungsdatensätze nicht öffentlich, daher stammen diese Zahlen nicht aus genau denselben Dokumenten. Darüber hinaus gibt GPTZero die Anzahl der getesteten Dokumente nicht bekannt, sodass wir auch die Menge nicht vergleichen können. Für die Leistungszahlen von Pangram haben wir jedoch Tausende von Dokumenten pro Modell sowie eine Vielzahl von Domänen und Prompt-Schemata ausgewertet, um den realen Einsatz zu simulieren.

Darüber hinaus beschränkt sich die Genauigkeit von Pangram nicht nur darauf, die meisten KI-Dokumente zu kennzeichnen. Pangram ist auch Marktführer bei der Aufrechterhaltung niedriger Falsch-Positiv-Raten. Es ist für uns eine wichtige Priorität, von Menschen verfasste Dokumente nicht als KI-generiert zu kennzeichnen. Nachstehend sind die Unterschiede zwischen den gemeldeten Falsch-Positiv-Raten für Pangram und GPTZero aufgeführt:

GPTZero-Blogbeitrag zur Falsch-Positiv-Rate

Hier sehen wir die Leistung von GPTZero mit einer Falsch-Positiv-Rate (FPR) von 1 %.

Was zeigen die Forschungsergebnisse? Pangram vs. GPTZero

Pangram und GPTZero stehen auch in begutachteten Forschungsarbeiten zum Thema KI in direktem Wettbewerb zueinander. Dies kommt am besten in der aktuellen Studie der University of Maryland zum Ausdruck :„Personen, die ChatGPT häufig für Schreibaufgaben nutzen, sind präzise und zuverlässige Detektoren für KI-generierte Texte.“ Diese Studie untersuchte die Fähigkeit erfahrener menschlicher Annotatoren, den Unterschied zwischen von Menschen und von KI generierten Texten zu klassifizieren.

Im Rahmen der Studie wurden die menschlichen Annotatoren mit kommerziell erhältlichen und Open-Source-Detektoren verglichen. Pangram schnitt besser ab als jeder einzelne menschliche Detektor und auch besser als alle kommerziellen Alternativen, einschließlich GPTZero.

Mehrsprachige Aufführung

Die Unterschiede zwischen dem Flaggschiffmodell von Pangram und GPTZero enden hier jedoch nicht. Beide Modelle sind „mehrsprachig“, d. h. sie können KI nicht nur in Englisch, sondern auch in anderen Sprachen erkennen. Pangram ist in allen 20 meistverwendeten Sprachen im Internet mehrsprachig. GPTZero unterstützt Englisch, Französisch und Spanisch. Hier sind die Sprachen, in denen jedes Modell getestet wurde:

Weitere Informationen zur Leistung von Pangram bei mehrsprachigen Texten finden Sie in diesem Blogbeitrag.

ESL-Leistung

Darüber hinaus wurden beide Modelle unter besonderer Berücksichtigung der ESL-Leistung trainiert, da allgemein bekannt ist, dass KI-Detektoren gegenüber Nicht-Muttersprachlern voreingenommen sein können. Sowohl GPTZero als auch Pangram haben insbesondere Ergebnisse zu ESL-Texten veröffentlicht. Sehen Sie unten, wie sie im Vergleich abschneiden:

Weitere Informationen über Pangrams Ansatz für ESL-Texte finden Sie in diesem Blogbeitrag: https://www.pangram.com/blog/how-accurate-is-pangram-ai-detection-on-esl

Unveröffentlichte Modelle und GPT-5

Ein weiteres Anliegen für diejenigen, die sich für KI-Erkennung interessieren, ist die Leistung bei noch nicht veröffentlichten Modellen. Da der KI-Wettstreit weiter zunimmt, veröffentlichen große KI-Labore und kleine Start-ups regelmäßig wichtige Modelle. Es ist wichtig, dass eine KI-Erkennungslösung auch bei Modellen, die sie möglicherweise nicht direkt trainieren konnte, weiterhin genaue Ergebnisse liefert.

Die kürzlich erfolgte Veröffentlichung von GPT-5 bot eine großartige Gelegenheit, dies herauszufinden! Innerhalb weniger Stunden nach der Veröffentlichung des neuen Modells testete das Pangram-Team die Leistung von GPTZero und Pangram anhand verschiedener Arten von Eingabeaufforderungen. Hier sind die Ergebnisse:

Hinweis: GPTZero hat inzwischen ein Modell-Update veröffentlicht, das angeblich auf GPT-5 besser funktioniert! Weitere Details zu unserem ursprünglichen Vergleich finden Sie in diesem Blogbeitrag. Darüber hinaus empfehlen wir Nutzern, eigene Tests durchzuführen, um die Leistung zu einem bestimmten Zeitpunkt zu vergleichen.

Schlussfolgerung

Letztendlich ist Pangram weiterhin die robuste und zuverlässige Wahl für die Erkennung von KI-generierten Inhalten. Ganz gleich, ob Sie Lösungen für den Bildungsbereich, das Verlagswesen, die Moderation von Inhalten oder noch speziellere Anforderungen benötigen – wir bieten Ihnen eine genaue und faire KI-Erkennung. Erfahren Sie mehr in unserem Blog oder kontaktieren Sie uns unter info@pangram.com.