Was ist besser: Pangram oder Turnitin?

Ein Vergleich der beiden führenden KI-Detektoren

Ich werde regelmäßig gefragt: „Inwiefern unterscheidet sich Pangram vom KI-Schreibdetektor von Turnitin?“ Schließlich nutzen viele Schulen den herkömmlichen Plagiatsdetektor von Turnitin. Der KI-Schreibdetektor von Turnitin ist einfach zu bedienen, doch viele Pädagogen entscheiden sich stattdessen für Pangram. Warum ist das so? Meiner Meinung nach sind die beiden wichtigsten Faktoren Genauigkeit und Verfügbarkeit.

Genauigkeit von Pangram im Vergleich zur Genauigkeit von Turnitin

Wie genau ist Pangram und wie genau ist Turnitin? Beide Unternehmen haben eigene technische Berichte veröffentlicht, in denen die Genauigkeit detailliert beschrieben wird, und beide wurden im Rahmen verschiedener wissenschaftlicher Studien auf ihre Genauigkeit hin untersucht.

Im technischen Bericht von Turnitin vom September 2024 wird eine Erkennungsrate von 76,8 % bei von GPT-4 generierten Texten angegeben. Das bedeutet, dass Turnitin etwa 77 % der von GPT-4 generierten Texte erkennt, die ihm vorgelegt werden.

Im Gegensatz dazu weist der technische Bericht von Pangram eine Gesamt-Recall-Rate von 99,9 % bei KI-generierten Texten sowie speziell bei GPT-4-Texten nach. Diese Zahlen werden durch wissenschaftliche Untersuchungen Dritter gestützt, bei denen drei unabhängige Studien übereinstimmend eine Genauigkeit von über 99 % für Pangram feststellten.

Falsch-positiv-Rate

Die Falsch-Positiv-Rate ist ein wichtiger Bestandteil der Genauigkeit und wohl der wichtigste im Unterricht. Wenn man den Ergebnissen des Detektors nicht trauen kann, wie nützlich ist er dann wirklich?

Der technische Bericht von Turnitin weist eine Falsch-Positiv-Rate von 0,51 % aus, was etwa 1 von 200 entspricht.

Die von Turnitin auf seiner Website angegebene Falsch-Positiv-Rate

Pangram hingegen weist eine gut dokumentierte Gesamt-Falsch-Positiv-Rate von 0,01 % auf, also 1 von 10.000. Anhand eines akademischen Aufsatzdatensatzes, der dem von Turnitin verwendeten zur Bewertung ähnelt, weist Pangram eine Falsch-Positiv-Rate von 1 von 25.000 auf.

ESL-Verzerrung

Sowohl Pangram als auch Turnitin behaupten, gegenüber Nicht-Muttersprachlern unvoreingenommen zu sein.

Pangram verzeichnete bei vier zurückbehaltenen ESL-Datensätzen eine Falsch-Positiv-Rate von 0,032 %.

Turnitin hat die Leistung des Systems bei ESL-Texten untersucht und dabei eine Falsch-Positiv-Rate von 1,4 % bei ESL-Texten ermittelt, verglichen mit einer FPR von 1,3 % bei Nicht-ESL-Texten.

Pangram konnte denselben Datensatz für einen direkten Vergleich auswerten und dabei eine deutlich niedrigere Falsch-Positiv-Rate von 0,02 % bei ESL-Texten und von 0,0 % bei Nicht-ESL-Texten nachweisen.

Verfügbarkeit

Pangram steht allen Lehrkräften zur Verfügung, unabhängig davon, ob ihre Schule über eine institutionelle Lizenz verfügt. Lehrkräfte können täglich fünf kostenlose Überprüfungen durchführen, können aber ein Abonnement abschließen, um Pangram in größerem Umfang zu nutzen. Wenn eine Schule eine institutionelle Lizenz erwirbt, haben alle Lehrkräfte und Mitarbeiter uneingeschränkten Zugang zu Pangram.

Turnitin ist nur über eine institutionelle Lizenz verfügbar. Es gibt keine Möglichkeit, das KI-Erkennungsprogramm von Turnitin kostenlos zu testen, ohne die institutionelle Lizenz zu abonnieren.

Wie kann ich Pangram nutzen?

Es gibt drei Hauptmöglichkeiten, Pangram zu nutzen:

1. Dashboard: Über das kostenlose Dashboard von Pangram können Sie Text einfügen oder Dokumente hochladen und diese auf KI-Inhalte überprüfen. Im Dashboard sehen Sie einen detaillierten Bericht über KI-Text, einschließlich einer Grafik, die zeigt, wo KI-Inhalte gefunden wurden, sowie Markierungen für typische KI-Formulierungen.
2. Chrome-Erweiterung: Mit der Pangram-Chrome-Erweiterung kannst du jeden beliebigen Text auf KI-Inhalte überprüfen, indem du ihn markierst und im Kontextmenü die Option „Auf KI-Inhalte prüfen“ auswählst. Das funktioniert überall im Internet, auch in Canvas Speedgrader und in Diskussionsforen. Die Erweiterung fügt außerdem in Google Docs eine Schaltfläche hinzu, mit der du das Dokument sofort auf KI-Inhalte überprüfen kannst.
3. LMS-Integration: Pangram bietet eine Vielzahl von Integrationen, darunter Integrationen mit Canvas und Google Classroom. Diese sind nur im Rahmen einer institutionellen Lizenz verfügbar. Klicken Sie hier, um eine aktuelle Liste unserer Integrationen anzuzeigen.

Welche Sprachen werden unterstützt?

Pangram unterstützt 24 Sprachen, darunter Englisch, Arabisch, Chinesisch, Niederländisch, Tschechisch, Französisch, Deutsch, Griechisch, Hindi, Ungarisch, Italienisch, Japanisch, Koreanisch, Persisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Spanisch, Schwedisch, Türkisch, Ukrainisch, Urdu und Vietnamesisch.

Turnitin unterstützt drei Sprachen: Englisch, Japanisch und Spanisch.

Zusammenfassung: Pangram vs. Turnitin

Insgesamt haben sowohl Pangram als auch Turnitin umfangreiche Belege vorgelegt, um ihre Behauptungen hinsichtlich der Genauigkeit zu untermauern, doch im Vergleich zu anderen KI-Detektoren ist Pangram um zwei Größenordnungen genauer als Turnitin. Pangram unterstützt 24 Sprachen, während Turnitin nur drei Sprachen abdeckt. Pangram bietet ein kostenloses Dashboard, eine Chrome-Erweiterung sowie Lizenzen für Einzelpersonen und Institutionen an, während Turnitin ausschließlich Lizenzen für Institutionen anbietet.

Sie möchten sich einen Überblick über die verschiedenen Detektoren für den Hochschulbereich verschaffen? Erfahren Sie, welche KI-Detektoren Hochschulen einsetzen sollten.