Wie genau ist die Pangram-KI-Erkennung bei ESL?

Aktualisiert im Mai 2026 mit der [Veröffentlichung von Pangram 3.3]

Eine häufige Kritik an KI-Detektoren lautet, dass sie gegenüber Nicht-Muttersprachlern voreingenommen sind. Texte, die von Nicht-Muttersprachlern verfasst wurden, werden als ESL (English as a Second Language) oder, genauer gesagt, als ELL (English Language Learners) bezeichnet. In früheren Beiträgen haben wir erläutert, warum andere KI-Detektoren, die auf Perplexity und Burstiness basieren, für diesen Fehler anfällig sind.

Nicht-Muttersprachler verfügen weder über einen ausreichend umfangreichen Wortschatz noch über die nötigen Kenntnisse komplexer englischer Satzstrukturen, um Texte zu verfassen, die sich durch eine hohe „Burstiness“ auszeichnen. Daher sind frühere Versuche zur KI-Erkennung gescheitert: Oft wurden Texte von ESL-Lernenden fälschlicherweise als KI-generierte Texte eingestuft, was zu einer hohen Falsch-Positiv-Rate bei ESL-Texten führte.

Frühere Studien zur KI-Erkennung und ESL

Im Juli 2023 veröffentlichten Weixin Liang, James Zou und andere eine viel beachtete Stanford-Studie, in der behauptet wird, dass GPT-Detektoren gegenüber nicht-muttersprachlichen Englischschreibern voreingenommen sind. Zwar basierte die Studie auf einer kleinen Stichprobe (nur 91 Aufsätze aus der TOEFL-Prüfung) und wies einige methodische Mängel auf (die Autoren beschlossen, von GPT-4 modifizierte menschliche Texte beim Testen der Detektoren als „menschlich“ zu kennzeichnen), doch insgesamt zeigten die Ergebnisse, dass die sieben getesteten KI-Detektoren (Pangram wurde in dieser Studie nicht getestet) eine starke Voreingenommenheit gegenüber ESL-Texten aufwiesen – wobei über 60 % der menschlichen ESL-Textbeispiele als KI-Text markiert wurden.

Eine neuere Studie vom August 2024 des ETS, eines Prüfungszentrums, das den GRE – einen standardisierten Test für die Zulassung zu Graduiertenstudiengängen – durchführt, untersuchte ebenfalls in einem größeren Rahmen rund 2.000 Schreibproben von Nicht-Muttersprachlern im Rahmen des GRE. Dabei wurden einfache Detektoren für maschinelles Lernen herangezogen, die auf manuell erstellten Merkmalen, darunter auch der Perplexity, trainiert wurden. Sie fanden keine Voreingenommenheit ihrer eigenen Detektoren gegenüber nicht-muttersprachlichem Englisch, obwohl der Versuchsaufbau stark vereinfacht und konstruiert war und es wichtige Unterschiede zwischen dieser Studie und der realen Welt gibt. Zudem untersuchten sie nicht die kommerziellen Detektoren, die in der Praxis tatsächlich verwendet werden. Dennoch hebt die Studie einen interessanten Punkt hervor: Wenn Daten von nicht-muttersprachlichen Englischsprechern im Trainingssatz ausreichend vertreten sind, wird die daraus resultierende Voreingenommenheit ausreichend gemildert.

Pangrams Auftritt bei ESL

Um die Falsch-Positiv-Rate von Pangram bei ESL-Daten zu messen, lassen wir den KI-Detektor von Pangram auf vier öffentlich zugänglichen ESL-Datensätzen laufen (wir halten diese Datensätze während des Trainings zurück, um jegliche Übertragung von Trainingsdaten auf Testdaten zu vermeiden).

Zu den von uns untersuchten Datensätzen gehören:

• ELLIPSE-Datensatz zum Englischlernen

• Internationales Korpus asiatischer Englischlernender

• Pittsburgh English Language Instructional Corpus

• TOEFL-Datensatz aus der Stanford-Studie von Liang et al.

Die Ergebnisse finden Sie unten.

Die Gesamt-Falsch-Positiv-Rate von Pangram beträgt 0,078 %, was nicht wesentlich höher ist als unsere allgemeine Falsch-Positiv-Rate von 0,01 %.

Pangram vs. TurnItIn

Wir vergleichen Pangram direkt mit TurnItIn, wobei wir dieselben Datensätze verwenden, die TurnItIn bei einer öffentlichen Bewertung seines KI-Schreibindikators verwendet hat.

Wir bewerten sowohl „L1“-Englisch (Nicht-ESL) als auch „L2“-Englisch (ESL) anhand derselben Datensätze wie TurnItIn. Da TurnItIn keine Dokumente mit mehr als 300 Wörtern auswertet, wenden wir vor der Auswertung dieselbe Filterung auf den Datensatz an.

Wir stellen fest, dass Pangram bei ESL-Texten um zwei Größenordnungen genauer ist als TurnItIn und dass Pangram bei den muttersprachlichen englischen Texten aus dieser Studie keine Fehlalarme auslöst.

Pangram gegen GPTZero

GPTZero gibt für die ursprüngliche Liang-TOEFL-Studie eine Falsch-Positiv-Rate von 1,1 % an, obwohl 6,6 % des Liang-TOEFL-Datensatzes ebenfalls fälschlicherweise als „Möglicher KI-Inhalt“ eingestuft werden.

Im Vergleich dazu meldet Pangram beim Liang-TOEFL-Datensatz kein einziges falsch-positives Ergebnis, und wir sind bei jedem Beispiel äußerst zuversichtlich.

Wie minimiert Pangram Fehlalarme beim ESL-Schreiben?

Bei Pangram nehmen wir die Qualität unserer Texte, die nicht von Muttersprachlern verfasst wurden, sehr ernst. Aus diesem Grund haben wir verschiedene Strategien eingesetzt, um Fehlalarme in unserem KI-Modell zur Erkennung von nicht muttersprachlichem Text zu minimieren.

Daten

Modelle des maschinellen Lernens erzielen außerhalb ihres Trainingsbereichs keine guten Ergebnisse; daher achten wir darauf, dass unser Datensatz auch Texte enthält, die nicht auf Englisch verfasst sind.

Wir geben uns damit jedoch nicht zufrieden. Während sich andere KI-Schriftdetektoren ausschließlich auf studentische Arbeiten und akademische Aufsätze konzentrieren, trainieren wir unser Modell anhand eines breiten Spektrums an Texten. Andere KI-Schreibdetektoren, die nur auf Aufsätze trainiert wurden, leiden oft darunter, dass umgangssprachliches, konversationelles Englisch im Trainingsdatensatz unterrepräsentiert ist. Im Gegensatz dazu verwenden wir Texte aus sozialen Medien, Rezensionen und allgemeine Internettexte, die oft informell sind und eher für unvollkommenes Schreiben stehen, das dem Englisch von Nicht-Muttersprachlern oder Englischlernenden ähnelt.

Wir achten auch darauf, Quellen einzubeziehen, die Texte von Nicht-Muttersprachlern enthalten können, selbst wenn es sich bei diesen Quellen nicht ausdrücklich um ESL-Datensätze handelt. So sind beispielsweise englische Texte auf Websites mit ausländischen Domains eine hervorragende Quelle für Texte von Nicht-Muttersprachlern.

Mehrsprachigkeit

Im Gegensatz zu anderen KI-Detektoren beschränken wir uns zudem nicht nur auf die englische Sprache. Tatsächlich legen wir der Sprache unseres Modells keinerlei Beschränkungen auf: Wir nutzen alle im Internet vorhandenen Sprachen, um unser Modell zu trainieren, damit es in allen gängigen Sprachen gute Ergebnisse liefert.

Wir haben bereits über unsere hervorragenden Ergebnisse im Bereich der Mehrsprachigkeit berichtet und sind der Ansicht, dass sich die Techniken, mit denen wir Pangram für andere Sprachen erfolgreich eingesetzt haben, sehr gut auch auf den ESL-Bereich übertragen lassen.

Auch wenn wir nicht genau wissen, welche Mechanismen für die gute Generalisierung und den guten Transfer verantwortlich sind, vermuten wir, dass ESL fast als eine dem Englischen benachbarte Sprache betrachtet werden kann. Durch die Optimierung des Modells auf eine gute Leistung bei allen Sprachen kann es nicht zu einer Überanpassung an sprachspezifische Stile, grammatikalische Konstruktionen oder Wortwahlen kommen, die für die üblichen Ausdrucksweisen in einer bestimmten Sprache typisch sind. Indem wir menschliche Texte in allen Sprachen betrachten, bringen wir dem Modell bei, wie alle Menschen schreiben, nicht nur englische Muttersprachler. Dadurch ist es weniger wahrscheinlich, dass sich das Modell fälschlicherweise auf idiomatische Muster konzentriert, die von Muttersprachlern verwendet werden.

Aktives Lernen

Unser Ansatz des aktiven Lernens ist der Grund dafür, dass Pangram wesentlich genauer ist und deutlich weniger menschliche Texte fälschlicherweise als KI-Text einstuft als die Konkurrenz.

Durch den iterativen Wechsel zwischen Training und „Hard Negative Mining“ finden wir jene von Menschen verfassten Beispiele, die dem KI-generierten Text am ähnlichsten sind und sich somit am besten zum Trainieren eignen. Dieser Ansatz bringt nicht nur die Beispiele zutage, die dem KI-generierten Text am ähnlichsten sind – was dem Modell hilft, die feinen Unterschiede zwischen ESL-Text und KI-generiertem Text zu verstehen –, sondern unterstützt uns auch dabei, ähnliche Beispiele wie ESL zu finden, die sich gut übertragen lassen und dem Modell helfen, insgesamt bessere Muster zu erlernen.

Strategien zur Aufforderung

Wenn wir KI-Beispiele erstellen, anhand derer das Modell lernen soll, versuchen wir, eine möglichst große Vielfalt an Eingabeaufforderungen zu verwenden, damit das Modell auf verschiedene Schreibstile verallgemeinern kann. So fügen wir beispielsweise oft am Ende unserer Eingabeaufforderungen Anweisungen hinzu wie „Schreibe diesen Aufsatz im Stil eines Gymnasiasten“ oder „Schreibe diesen Artikel im Stil eines Nicht-Muttersprachlers“.

Indem das Modell so viele verschiedene Schreibstile erzeugt, lernt es nicht nur die übliche Art und Weise, wie KI-Sprachmodelle schreiben, sondern auch die grundlegenden Muster, die KI-Texten zugrunde liegen.

Aus statistischer Sicht gestalten wir unsere Pipeline zur Erzeugung synthetischer Spiegeltexte so, dass unser Modell gegenüber irrelevanten Merkmalen wie dem Thema, dem Schreibstil oder dem Tonfall invariant ist. Indem wir das Modell mit Eingaben füttern, die den Merkmalen des menschlichen Textes entsprechen, stellen wir diese Invarianz sicher, indem wir für jedes Merkmal die gleiche Anzahl an menschlichen und KI-Beispielen verwenden.

Strenge Bewertung und Qualitätssicherung

Schließlich führen wir vor der Freigabe jedes neuen Modell-Updates einen äußerst umfassenden und strengen Bewertungs- und Qualitätssicherungsprozess durch.

Bei der Bewertung legen wir Wert sowohl auf Qualität als auch auf Quantität. Da der Liang-TOEFL-Datensatz beispielsweise nur 91 Beispiele enthält, könnten wir nur eine sehr grobe Schätzung unserer Falsch-Positiv-Rate bei ESL erhalten, wenn wir ausschließlich den Liang-TOEFL-Datensatz verwenden würden. Wenn wir nur ein einziges Beispiel falsch eingestuft hätten, würden wir eine Falsch-Positiv-Rate von 1,1 % melden, sodass wir nicht in der Lage wären, den Unterschied zwischen Modellen zu erkennen, die tatsächlich eine echte FPR von unter 1 % aufweisen.

Da wir eine Falsch-Positiv-Rate von deutlich unter 1 % anstreben (unser Ziel liegt zwischen 1 zu 10.000 und 1 zu 100.000), müssen wir Millionen von Beispielen auswerten, um eine Genauigkeit auf diesem Niveau bestätigen zu können.

Eine groß angelegte Evaluierung hilft uns zudem dabei, ein besseres Gespür für die Fehlerquellen unseres Modells zu entwickeln und diese im Laufe der Zeit zu beheben, indem wir bessere Daten beschaffen und bessere algorithmische Strategien entwickeln, die speziell auf unsere Fehlerfälle zugeschnitten sind.

Kann man den KI-Detektoren auf ESL vertrauen?

Aufgrund unserer Messungen, detaillierten Auswertungsergebnisse und nachvollziehbaren Strategien zur Fehlerbehebung sind wir der Ansicht, dass Pangram bei Nicht-Muttersprachlern des Englischen ausreichend genau ist, um im Bildungsbereich eingesetzt zu werden.

Ein ausreichend unvoreingenommener KI-Detektor reicht jedoch nicht aus, um alle Formen von Voreingenommenheit im Prozess der akademischen Integrität zu verhindern. Lehrende sollten sich bewusst sein, dass Voreingenommenheit auf unbewusste Weise zum Ausdruck kommen kann. Wenn beispielsweise ein Lehrender aufgrund des unbewussten Verdachts, dass ESL-Studierende weniger ehrlich sind, eher dazu neigt, einen KI-Detektor bei Arbeiten von Nicht-Muttersprachlern einzusetzen, dann ist dies eine Form von Voreingenommenheit.

Zudem sollten Lehrkräfte sich bewusst sein, dass Nicht-Muttersprachler im akademischen Umfeld im Vergleich zu ihren englischsprachigen Kommilitonen mit strukturellen Nachteilen konfrontiert sind. ESL-Studierende greifen häufiger auf externe Hilfsmittel wie ChatGPT zurück, um ihre Schreibfähigkeiten zu verbessern; wird diese Software jedoch in ausreichendem Umfang genutzt, löst sie bei KI-Erkennungsprogrammen einen Alarm aus. Aus diesem Grund empfehlen wir die „Perkins AI Assessment Scale“, um eine klare Kommunikation mit den Studierenden darüber zu ermöglichen, welche Art von KI-Unterstützung zulässig ist und welche nicht.

Schließlich wissen wir, dass Schüler schummeln, wenn sie unter Stress und Druck stehen, ein mangelndes Selbstvertrauen verspüren – insbesondere im Vergleich zu ihren Mitschülern – und wenn sie das Gefühl haben, dass der Einsatz von Hilfsmitteln zum Schummeln der einzige Weg ist, um erfolgreich zu sein. Wir ermutigen Lehrkräfte, diese Probleme proaktiv anzugehen, indem sie diesen Schülern Unterstützung bieten, klar kommunizieren, welche Art von Hilfe verfügbar und erlaubt ist, und möglicherweise Bewertungsstrategien überdenken, die von Schülern, die bereits mit Nachteilen in den Unterricht kommen, kein perfektes Englisch erwarten.

Pangram sollte als Hilfsmittel zur Förderung der akademischen Integrität eingesetzt werden, damit Lehrkräfte besser verstehen, wie sie das Lernen ihrer Schüler am besten unterstützen können.

Wenn Sie mehr über unsere Forschungsarbeit und die Maßnahmen erfahren möchten, mit denen wir Vorurteile in unserer KI-Erkennungssoftware minimieren, kontaktieren Sie uns bitte unter info@pangram.com.