Pangram vs. Turnitin: Welche KI-Erkennung ist besser?

Wenn Sie sich auch nur ein wenig mit dem Thema akademische Integrität auskennen, ist Ihnen Turnitin wahrscheinlich ein Begriff. Es ist der Marktführer im akademischen Bereich – und das aus gutem Grund, wenn es um die Plagiatserkennung geht. 

Schulen im ganzen Land nutzen Turnitin, um Schülerarbeiten auf Plagiate zu überprüfen – und man könnte meinen, dass die Nutzung der KI-Erkennungsfunktionen ein logischer nächster Schritt wäre, da das Programm bereits ein fester Bestandteil der Arbeitsabläufe ist. 

Doch während das KI-Erkennungssystem von Turnitin im Notfall nützlich sein kann, reichen KI-generierte Inhalte weit über den Unterricht hinaus. Wir haben festgestellt, dass 67 % der Online-Leser bereits auf irreführende, KI-generierte Informationen gestoßen sind – und dennoch ist dieselbe Gruppe weiterhin besorgt über die Rate der Fehlalarme. 

Genauigkeit ist sowohl im Unterricht als auch außerhalb des Unterrichts nach wie vor wichtig. 

Deshalb war die Genauigkeit das wichtigste Kriterium, das wir bei unserem Vergleich zwischen Pangram und Turnitin bewertet haben. 

Heute werde ich Ihnen unsere Untersuchung näher erläutern und dabei auf Erkennungsleistung, Falsch-Positiv-Raten, Sprachunterstützung, Barrierefreiheit, Preisgestaltung und Bereitstellungsoptionen eingehen, um herauszufinden, welche Plattform für Ihre Anforderungen am besten geeignet ist. 

Pangram vs. Turnitin: Ein Überblick

Auch wenn sie auf den ersten Blick ähnlich erscheinen, verfolgen Pangram und Turnitin bei der KI-Erkennung grundlegend unterschiedliche Prioritäten. Turnitin ist ein umfassenderes Ökosystem, das bereits von vielen akademischen Einrichtungen eingeführt wurde und ebenfalls Funktionen zur KI-Erkennung enthält. 

Pangram hingegen wurde in erster Linie speziell für die Erkennung durch KI entwickelt. 

Was ist ein Pangram?

Pangram ist eine Plattform zur Erkennung von KI-Erzeugnissen, die für Lehrkräfte, Verlage, Zulassungsstellen und eigentlich jede Person oder Organisation entwickelt wurde, die die Herkunft eines Textes überprüfen muss. Wenn Sie wissen möchten, ob bei der Erstellung eines Textes KI zum Einsatz kam, können wir Ihnen helfen. 

Unsere Methoden sind es, die uns von anderen Detektoren unterscheiden. Frühe KI-Erkennungswerkzeuge legten zu viel Wert auf oberflächliche Messgrößen wie Perplexität und Burstiness. 

Aus diesem Grund haben wir Pangram entwickelt, um zwei der größten Probleme bei der KI-Erkennung anzugehen: Fehlalarme und humanisierte KI-Inhalte. 

Unsere Modelle wurden anhand von Millionen von Beispielen sowohl menschlicher als auch KI-generierter Texte trainiert, sodass sie generierte Texte korrekt identifizieren können, ohne dabei von Menschen verfasste Texte fälschlicherweise als solche zu kennzeichnen. 

Das Ergebnis? Ein Detektor, der darauf ausgelegt ist, das gesamte Dokument zu betrachten, anstatt nur eine Handvoll isolierter Signale. 

Heute unterstützt Pangram die Erkennung in 24 Sprachen und bietet eine Webplattform, eine Chrome-Erweiterung, LMS-Integrationen sowie eine Enterprise-API für Unternehmen, die Inhalte in großem Umfang überprüfen müssen.

Was ist Turnitin?

Wenn Sie in den letzten zwei Jahrzehnten ein Hochschulstudium absolviert haben, wird Ihnen dieser Name sicher bekannt vorkommen! Turnitin ist eine Plattform für akademische Integrität, die vor allem für ihre Software zur Plagiatserkennung bekannt ist. Das neueste Angebot des Unternehmens kam 2023 auf den Markt, als es sein Angebot um die Erkennung von KI-generierten Texten erweiterte (ein Schritt, der absolut sinnvoll war). 

Viele Schulen nutzten Turnitin bereits, um die Arbeiten ihrer Schüler anhand umfangreicher Datenbanken mit veröffentlichten und eingereichten Arbeiten zu überprüfen. Durch die Einführung der KI-Erkennung konnten die Bildungseinrichtungen nun sowohl Plagiate als auch KI-generierte Texte nebeneinander bewerten.

Daher wird Turnitin häufig nicht als eigenständiges Tool zur Erkennung von Plagiaten, sondern als Teil eines umfassenderen Programms zur Förderung der akademischen Integrität eingesetzt.

Die Hauptzielgruppe sind nach wie vor Grund-, Mittel- und Oberschulen sowie Hochschulen, die zentralisierte Systeme zur Verwaltung der akademischen Integrität in großem Maßstab benötigen.

Genauigkeit

Für jeden, der ein Tool zur KI-Erkennung bewertet, ist die Genauigkeit DIE entscheidende Kennzahl. Glücklicherweise muss bei keinem der beiden hier vorgestellten Tools über die Genauigkeit spekuliert werden. Sowohl Pangram als auch Turnitin haben technische Berichte veröffentlicht, sodass wir die Zahlen direkt vergleichen können. 

Bevor wir uns damit befassen, sollte zunächst geklärt werden, was unter „Genauigkeit“ in diesem Zusammenhang zu verstehen ist, da dieser Begriff im Zusammenhang mit der KI-Erkennung sehr häufig verwendet wird. Es gibt hier eigentlich nur zwei relevante Kennzahlen, sodass das Thema leicht zu verstehen ist. 

• Trefferquote: Wie oft erkennt der Detektor KI-generierte Inhalte korrekt? 

• Falsch-Positiv-Rate: Wie oft stuft der Detektor handschriftliche Texte fälschlicherweise als KI-Ergebnis ein?

Die meisten derzeit auf dem Markt erhältlichen KI-Detektoren tendieren etwas zu stark in die eine oder andere Richtung. In einem Bereich gut abzuschneiden ist einfach, aber in beiden Bereichen gut abzuschneiden ist viel schwieriger. Glücklicherweise schneiden sowohl Pangram als auch Turnitin in dieser Hinsicht recht gut ab. 

Dank des technischen Berichts von Turnitin wissen wir, dass Forscher bei der Erprobung ihres Tools eine Erkennungsrate von 76,8 % bei GPT-4-Inhalten festgestellt haben. Das bedeutet, dass Turnitin in technischen Tests jede vierte KI-generierte Einreichung übersehen hat.

Ebenso ergab der technische Bericht von Pangram, dass Pangram bei derselben Modellfamilie eine Erkennungsrate von über 99,9 % aufwies. Für Einrichtungen, die große Mengen an studentischen Arbeiten prüfen, ist dies ein ziemlich erheblicher Unterschied zwischen den beiden Tools, da Pangram einen deutlich höheren Prozentsatz der generierten Inhalte erkennt. 

Angaben zur Genauigkeit wie die oben beschriebenen sind nur dann aussagekräftig, wenn sie einer Überprüfung unterzogen und regelmäßig getestet und überprüft werden. Aus diesem Grund veröffentlichen wir Benchmark-Daten und unterstützen unabhängige Bewertungen durch akademische Partnerschaften und Zugangsprogramme für Forscher. In mehreren Studien unabhängiger Dritter wurde die Leistung von Pangram direkt gemessen. 

Noch interessanter wird die Sache, wenn man sich die Fehlalarme ansieht. Turnitin gibt eine Fehlalarmquote von etwa 0,51 % an, was etwa einem von 200 Dokumenten entspricht. Die Benchmark-Tests von Pangram ergeben eine Fehlalarmquote von insgesamt 1 zu 10.000, wobei akademische Aufsätze mit etwa 1 zu 25.000 sogar noch besser abschneiden.

Wenn ich die verfügbaren Benchmark-Daten vergleiche, liegt der Sieger in puncto Genauigkeit auf der Hand. Pangram erkennt einen höheren Prozentsatz an KI-generierten Inhalten und erzeugt dabei deutlich weniger Fehlalarme.

Falsch-positiv-Rate

Es ist zwar ärgerlich, wenn KI-generierter Text fehlt, aber einen Studierenden in einem Fall von akademischer Integrität fälschlicherweise des Betrugs zu bezichtigen, ist meiner Meinung nach viel schlimmer.

Ob im Klassenzimmer, in der Redaktion oder am Arbeitsplatz – ein falsch-positives Ergebnis kann schwerwiegende Folgen haben. Ein Schüler oder Student könnte der akademischen Unredlichkeit bezichtigt werden, die Arbeit eines Autors könnte in Frage gestellt werden oder ein Redakteur könnte das Vertrauen in einen legitimen Beitrag verlieren. Wenn die Nutzer den Ergebnissen nicht vertrauen können, verliert die Genauigkeit des Detektors erheblich an Bedeutung.

Laut Turnitin gibt die Plattform eine Falsch-Positiv-Rate von 0,51 % an, was etwa 1 zu 200 entspricht. Das bedeutet, dass von 200 untersuchten Dokumenten etwa eines fälschlicherweise als Plagiat markiert wird.

Die von Pangram veröffentlichten Benchmark-Testergebnisse weisen insgesamt eine Falsch-Positiv-Rate von 1 zu 10.000 aus. Bei einem Datensatz mit wissenschaftlichen Aufsätzen, der mit der Auswertung von Turnitin vergleichbar ist, sinkt diese Rate weiter auf 1 zu 25.000.

Diese Zahlen wurden von der University of Chicago unabhängig überprüft, weshalb wir voll und ganz hinter ihnen stehen können, wenn Bildungseinrichtungen Pangram nutzen, um Entscheidungen über die Leistungen ihrer Studierenden zu treffen.

ESL-Verzerrung

Eine wichtige Frage, die im Zusammenhang mit der KI-Erkennung immer wieder auftaucht, ist, ob Autoren, deren Muttersprache nicht Englisch ist, mit höherer Wahrscheinlichkeit fälschlicherweise als Nutzer von KI identifiziert werden. Da Nicht-Muttersprachler oft in einer Weise schreiben, die zu niedrigeren Perplexity-Werten führt, kann menschlich verfasster Text statistisch gesehen manchmal ähnlich aussehen wie KI-generierter Text.

Jeder KI-Detektor behauptet, dass die Verringerung der Verzerrung durch Englisch als Zweitsprache (ESL) oberste Priorität habe. Die eigentliche Frage ist jedoch, ob die Zahlen diese Behauptung stützen.

Im Rahmen unserer ESL-Bewertung wies das Modell sowohl bei ESL- als auch bei Nicht-ESL-Datensätzen durchweg extrem niedrige Falsch-Positiv-Raten auf:

Diese Ergebnisse stehen im Einklang mit Pangrams umfassenderem Ansatz zur Erkennung künstlicher Intelligenz, bei dem Muster auf Dokumentebene ausgewertet werden, anstatt sich auf einzelne Wortwahlen oder starre Schreibvorlagen zu stützen.

Wenn Sie sich eingehender mit den zugrunde liegenden Forschungsergebnissen befassen möchten, lesen Sie unsere Analyse zur Erkennungsgenauigkeit von KI bei Texten von ESL-Lernenden sowie zu unseren mehrsprachigen KI-Erkennungsfunktionen.

Verfügbarkeit

Auch wenn es vielleicht offensichtlich ist: Ein KI-Detektor nützt nichts, wenn man ihn nicht nutzen kann! Das ist einer der größten Unterschiede zwischen Pangram und Turnitin, und es lohnt sich, dies hier zu erwähnen, da viele Lehrkräfte tatsächlich eine individuelle Lösung benötigen.

Pangram ist für jeden geeignet. Ob einzelne Pädagogen, Verlage, Rechtsabteilungen oder Content-Prüfer in Unternehmen – die Liste lässt sich beliebig fortsetzen. Erstellen Sie ein Konto und nutzen Sie die Plattform sofort, einschließlich vier kostenloser Scans pro Tag. Probieren Sie es doch gleich einmal aus, falls Sie das noch nicht getan haben. 

Turnitin hingegen ist nur schwer zugänglich, es sei denn, der Zugriff wurde auf institutioneller Ebene gewährt. Einzelne Lehrkräfte haben hier meist keine Chance. Der Zugriff auf Turnitin ist denjenigen vorbehalten, die über eine institutionelle Lizenz verfügen, die in der Regel von einer Schule oder Universität verwaltet wird.

Pangram ist jedoch nicht nur für Einzelpersonen gedacht. Auch Universitäten und Schulbezirke können Pangram im Rahmen von institutionellen Lizenzen in großem Umfang einsetzen und so Lehrkräften und Mitarbeitern neben LMS-Integrationen uneingeschränkten Zugriff gewähren.

Mit anderen Worten: Pangram steht für den individuellen Gebrauch zur Verfügung, unterstützt aber weiterhin auch die institutionellen Einsatzszenarien, für die Turnitin entwickelt wurde. 

Preise

In ähnlicher Weise hält sich Turnitin hinsichtlich seiner Preise ebenfalls bedeckt. Wenn Sie keine Bildungseinrichtung sind, erhalten Sie keine Preisinformationen. 

Pangram macht es einfach, unsere Preise einzusehen und zu vergleichen. Einzelnutzer können kostenlos mit vier Scans pro Tag loslegen; kostenpflichtige Tarife beginnen bei 15 US-Dollar pro Monat für bis zu 600 KI-Scans. Für Schulen und Organisationen, die einen umfassenderen Zugang benötigen, sind zudem institutionelle Lizenzen erhältlich, sodass wir jedem Bedarf gerecht werden können.

Turnitin veröffentlicht seine Preise jedoch nicht öffentlich. Institutionelle Lizenzen sind auf Anfrage erhältlich, wobei die Preise in der Regel direkt mit den Bildungseinrichtungen ausgehandelt werden. Es gibt weder einen Einzelabonnement-Tarif noch eine Selbstbedienungsoption für Nutzer, die das Plagiatserkennungsprogramm vor einer Kaufentscheidung testen möchten, sodass wir keine umfassenden Aussagen zu den Preisen treffen können.

Unterstützte Sprachen 

Die Sprachunterstützung ist einer der wesentlicheren praktischen Unterschiede zwischen den beiden Plattformen.

Pangram unterstützt 24 Sprachen, darunter Englisch, Arabisch, Chinesisch, Niederländisch, Tschechisch, Französisch, Deutsch, Griechisch, Hindi, Ungarisch, Italienisch, Japanisch, Koreanisch, Persisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Spanisch, Schwedisch, Türkisch, Ukrainisch, Urdu und Vietnamesisch.

Turnitin hingegen unterstützt drei Sprachen: Englisch, Japanisch und Spanisch. Unsere KI-Funktionen zum Umformulieren und zur Umgehung der Plagiatserkennung stehen jedoch nur für englischsprachige Beiträge zur Verfügung.

Für Einrichtungen, die internationale Studierende betreuen, oder Unternehmensteams, die Inhalte in mehreren Sprachen prüfen, ist diese Lücke von großer Bedeutung. Ein Detektor, der nur drei Sprachen unterstützt, schafft blinde Flecken, sodass KI-generierte Inhalte in nicht unterstützten Sprachen außerhalb des Prüfungsumfangs bleiben.

Wie kann ich Pangram nutzen?

Ein Vorteil, den Pangram gegenüber Turnitin bietet, ist seine Flexibilität. Pangram ist nicht auf einen einzigen Arbeitsablauf beschränkt, sondern kann je nach Art der Inhaltsprüfung auf verschiedene Weise genutzt werden:

• Dashboard: Über das kostenlose Dashboard von Pangram können Sie Text einfügen oder Dokumente hochladen und diese auf KI-Inhalte überprüfen. Im Dashboard sehen Sie einen detaillierten Bericht über KI-Text, einschließlich einer Grafik, die zeigt, an welchen Stellen KI-Inhalte gefunden wurden, sowie hervorgehobene Beispiele für typische KI-Formulierungen.

• Chrome-Erweiterung: Mit der Chrome-Erweiterung „Pangram“ können Sie beliebige Textstellen auf KI-Inhalte überprüfen, indem Sie den Text markieren und im Kontextmenü die Option „Auf KI-Inhalte prüfen“ auswählen. Dies funktioniert überall im Internet, einschließlich Canvas Speedgrader und in Diskussionsforen. Die Erweiterung fügt außerdem in Google Docs eine Schaltfläche hinzu, mit der Sie das Dokument sofort auf KI-Inhalte überprüfen können.

• LMS-Integration: Pangram bietet verschiedene Integrationen an, darunter Canvas und Google Classroom. Diese sind nur über eine institutionelle Lizenz verfügbar. 

Finden Sie die richtige KI-Erkennungsplattform für Ihr Team

Insgesamt haben sowohl Pangram als auch Turnitin umfangreiche Belege vorgelegt, um ihre Behauptungen hinsichtlich der Genauigkeit zu untermauern, doch im Vergleich zu anderen KI-Detektoren ist Pangram um zwei Größenordnungen genauer als Turnitin.

Wenn Sie sich selbst von dem Unterschied überzeugen möchten, können Sie Pangram kostenlos testen. Führen Sie Ihren ersten Scan mit unserem KI-Detektor durch, nutzen Sie die Chrome-Erweiterung, um Inhalte beim Surfen zu überprüfen, oder entdecken Sie unsere Enterprise-API, um zu sehen, wie sie funktioniert.