Zum Hauptinhalt springen

Erkennen Sie KI in Bildern und Videos mit Pangram Image 1.0. Probieren Sie es aus

KI-Ausbildung

Wie genau ist die Pangram-KI-Erkennung bei ESL?

Der KI-Detektor von Pangram weist bei Texten von Nicht-Muttersprachlern eine geringe Falsch-Positiv-Rate auf – so messen und mindern wir Vorurteile gegenüber Nicht-Muttersprachlern.

13. Mai 2026

Aktualisiert im Mai 2026 mit der Veröffentlichung von Pangram 3.3

Eine häufige Kritik an KI-Detektoren lautet, dass sie gegenüber Nicht-Muttersprachlern voreingenommen sind. Texte, die von Nicht-Muttersprachlern verfasst wurden, werden als ESL (English as a Second Language) oder, genauer gesagt, als ELL (English Language Learners) bezeichnet. In früheren Beiträgen haben wir erläutert, warum andere KI-Detektoren, die auf Perplexity und Burstiness basieren, für diesen Fehler anfällig sind.

Nicht-Muttersprachler schreiben oft in einem gleichmäßigeren, regelmäßigeren Englisch als Muttersprachler, und auf „Burstiness“ basierende Erkennungsalgorithmen verwechseln diese Regelmäßigkeit mit KI. Daher sind bisherige Versuche zur KI-Erkennung gescheitert: Oft wurden Texte von ESL-Lernenden fälschlicherweise als KI-generierte Texte eingestuft, was zu einer hohen Falsch-Positiv-Rate bei ESL-Texten führte.

Frühere Studien zur KI-Erkennung und ESL

Im Juli 2023 wurde eine bemerkenswerte Studie der Stanford-Universität von Weixin Liang, James Zou und anderen veröffentlicht, in der behauptet wird, dass GPT-Detektoren gegenüber nicht-muttersprachlichen Englischschreibern voreingenommen sind. Zwar basierte die Studie auf einer kleinen Stichprobe (nur 91 Aufsätze aus der TOEFL-Prüfung) und wies einige methodische Mängel auf (die Autoren entschieden sich dafür, von GPT-4 modifizierte menschliche Texte beim Testen der Detektoren als „menschlich“ zu kennzeichnen), doch insgesamt zeigten die Ergebnisse, dass die sieben getesteten KI-Detektoren (Pangram wurde in dieser Studie nicht getestet) eine starke Voreingenommenheit gegenüber ESL-Texten aufwiesen, wobei über 60 % der von ESL-Autoren verfassten Textbeispiele als KI-Text markiert wurden.

Eine neuere Studie vom August 2024 des ETS, eines Prüfungszentrums, das den GRE – einen standardisierten Test für die Zulassung zu Graduiertenstudiengängen – durchführt, untersuchte ebenfalls in größerem Umfang rund 2.000 Schreibproben von Nicht-Muttersprachlern im GRE anhand einfacher Detektoren für maschinelles Lernen, die sie selbst auf manuell definierte Merkmale, darunter die Perplexität, trainiert hatten. Sie konnten bei ihren eigenen Detektoren keine Voreingenommenheit gegenüber nicht-muttersprachlichem Englisch feststellen, obwohl der Versuchsaufbau stark vereinfacht und konstruiert war und es wesentliche Unterschiede zwischen dieser Studie und der Praxis gibt. Zudem untersuchten sie keine kommerziellen Detektoren, wie sie in der Praxis tatsächlich eingesetzt werden. Dennoch hebt die Studie einen interessanten Punkt hervor: Wenn Daten von nicht-muttersprachlichen Englischsprechern im Trainingsdatensatz ausreichend vertreten sind, wird die daraus resultierende Voreingenommenheit ausreichend gemildert.

Pangrams Auftritt bei ESL

Um die Falsch-Positiv-Rate von Pangram bei ESL-Daten zu messen, lassen wir den KI-Detektor von Pangram auf vier öffentlich zugänglichen ESL-Datensätzen laufen (wir halten diese Datensätze während des Trainings zurück, damit es zu keinem „Train-Test-Leakage“ kommt).

Zu den von uns untersuchten Datensätzen gehören:

Die Ergebnisse finden Sie unten.

DatensatzFalsch-positiv-RateStichprobengröße
ELLIPSE0%3,907
ICNALE0%5,600
PELIC0.019%15,423
Liang TOEFL0%91
Insgesamt0.012%25,021

Die Gesamt-Falsch-Positiv-Rate von Pangram beträgt 0,012 %, was nicht wesentlich höher ist als unsere allgemeine Falsch-Positiv-Rate von 0,01 %.

Pangram vs. Turnitin

Wir vergleichen Pangram direkt mit Turnitin, wobei wir dieselben Datensätze verwenden, die Turnitin bei einer öffentlichen Bewertung seines KI-Schreibindikators herangezogen hat.

Wir bewerten sowohl „L1“-Englisch (Nicht-ESL) als auch „L2“-Englisch (ESL) anhand derselben Datensätze wie Turnitin. Da Turnitin keine Dokumente mit weniger als 300 Wörtern auswertet, wenden wir vor der Auswertung dieselbe Filterung auf den Datensatz an.

DatensatzPangram FPRTurnitin FPR
L2 Englisch 300+ Wörter0.02%1.4%
L1 Englisch 300+ Wörter0.00%1.3%

Wir stellen fest, dass die Falsch-Positiv-Rate von Pangram bei ESL-Texten etwa 70-mal niedriger ist als die von Turnitin, und dass Pangram bei den muttersprachlichen englischen Texten aus dieser Studie keine Falsch-Positiven erkennt.

Pangram gegen GPTZero

GPTZero gibt für die ursprüngliche Liang-TOEFL-Studie eine Falsch-Positiv-Rate von 1,1 % an, obwohl 6,6 % des Liang-TOEFL-Datensatzes ebenfalls fälschlicherweise als „Möglicher KI-Inhalt“ eingestuft werden.

Im Vergleich dazu meldet Pangram beim Liang-TOEFL-Datensatz kein einziges falsch-positives Ergebnis, und wir sind bei jedem Beispiel äußerst zuversichtlich.

Wie minimiert Pangram Fehlalarme beim ESL-Schreiben?

Bei Pangram nehmen wir die Qualität unserer Texte, die nicht von Muttersprachlern verfasst wurden, sehr ernst. Aus diesem Grund haben wir verschiedene Strategien eingesetzt, um Fehlalarme in unserem KI-Modell zur Erkennung von nicht muttersprachlichem Text zu minimieren.

Daten

Modelle des maschinellen Lernens erzielen außerhalb ihres Trainingsbereichs keine guten Ergebnisse; daher achten wir darauf, dass unser Datensatz auch Texte enthält, die nicht auf Englisch verfasst sind.

Wir geben uns damit jedoch nicht zufrieden. Während sich andere KI-Schriftdetektoren ausschließlich auf studentische Arbeiten und akademische Aufsätze konzentrieren, trainieren wir unser Modell anhand eines breiten Spektrums an Texten. Andere KI-Schreibdetektoren, die nur auf Aufsätze trainiert wurden, leiden oft darunter, dass umgangssprachliches, konversationelles Englisch im Trainingsdatensatz unterrepräsentiert ist. Im Gegensatz dazu verwenden wir Texte aus sozialen Medien, Rezensionen und allgemeine Internettexte, die oft informell sind und eher für unvollkommenes Schreiben stehen, das dem Englisch von Nicht-Muttersprachlern oder Englischlernenden ähnelt.

Wir achten auch darauf, Quellen einzubeziehen, die möglicherweise von Nicht-Muttersprachlern verfasste englische Texte enthalten, selbst wenn es sich bei diesen Quellen nicht ausdrücklich um ESL-Datensätze handelt. Beispielsweise sind englische Texte auf Websites mit ausländischen Domains eine hervorragende Quelle für von Nicht-Muttersprachlern verfasste englische Texte.

Mehrsprachigkeit

Im Gegensatz zu anderen KI-Detektoren beschränken wir uns zudem nicht nur auf die englische Sprache. Tatsächlich legen wir der Sprache unseres Modells keinerlei Beschränkungen auf: Wir nutzen alle im Internet vorhandenen Sprachen, um unser Modell zu trainieren, damit es in allen gängigen Sprachen gute Ergebnisse liefert.

Wir haben bereits über unsere hervorragenden Ergebnisse im Bereich der Mehrsprachigkeit berichtet und sind der Ansicht, dass sich die Techniken, mit denen wir Pangram für andere Sprachen erfolgreich eingesetzt haben, sehr gut auch auf den ESL-Bereich übertragen lassen.

Auch wenn wir nicht genau wissen, welche Mechanismen für die gute Generalisierung und den guten Transfer verantwortlich sind, vermuten wir, dass ESL fast als eine dem Englischen benachbarte Sprache betrachtet werden kann. Durch die Optimierung des Modells auf eine gute Leistung bei allen Sprachen kann es nicht zu einer Überanpassung an sprachspezifische Stile, grammatikalische Konstruktionen oder Wortwahlen kommen, die für die üblichen Ausdrucksweisen in einer bestimmten Sprache typisch sind. Indem wir menschliche Texte in allen Sprachen betrachten, bringen wir dem Modell bei, wie alle Menschen schreiben, nicht nur englische Muttersprachler. Dadurch ist es weniger wahrscheinlich, dass sich das Modell fälschlicherweise auf idiomatische Muster konzentriert, die von Muttersprachlern verwendet werden.

Aktives Lernen

Unser Ansatz des aktiven Lernens ist der Grund dafür, dass Pangram wesentlich genauer ist und deutlich weniger menschliche Texte fälschlicherweise als KI-Text einstuft als die Konkurrenz.

Durch den iterativen Wechsel zwischen Training und „Hard Negative Mining“ finden wir jene von Menschen verfassten Beispiele, die dem KI-generierten Text am ähnlichsten sind und sich somit am besten zum Trainieren eignen. Dieser Ansatz bringt nicht nur die Beispiele zutage, die dem KI-generierten Text am ähnlichsten sind – was dem Modell hilft, die feinen Unterschiede zwischen ESL-Text und KI-generiertem Text zu verstehen –, sondern unterstützt uns auch dabei, ähnliche Beispiele wie ESL zu finden, die sich gut übertragen lassen und dem Modell helfen, insgesamt bessere Muster zu erlernen.

Strategien zur Aufforderung

Wenn wir KI-Beispiele erstellen, anhand derer das Modell lernen soll, versuchen wir, eine möglichst große Vielfalt an Eingabeaufforderungen zu verwenden, damit das Modell auf verschiedene Schreibstile verallgemeinern kann. So fügen wir beispielsweise oft am Ende unserer Eingabeaufforderungen Anweisungen hinzu wie „Schreibe diesen Aufsatz im Stil eines Gymnasiasten“ oder „Schreibe diesen Artikel im Stil eines Nicht-Muttersprachlers“.

Indem das Modell so viele verschiedene Schreibstile erzeugt, lernt es nicht nur die übliche Art und Weise, wie KI-Sprachmodelle schreiben, sondern auch die grundlegenden Muster, die KI-Texten zugrunde liegen.

Aus statistischer Sicht gestalten wir unsere Pipeline zur Erzeugung synthetischer Spiegeltexte so, dass unser Modell gegenüber irrelevanten Merkmalen wie dem Thema, dem Schreibstil oder dem Tonfall invariant ist. Indem wir das Modell mit Eingaben füttern, die den Merkmalen des menschlichen Textes entsprechen, stellen wir diese Invarianz sicher, indem wir für jedes Merkmal die gleiche Anzahl an menschlichen und KI-Beispielen verwenden.

Strenge Bewertung und Qualitätssicherung

Schließlich führen wir vor der Freigabe jedes neuen Modell-Updates einen äußerst umfassenden und strengen Bewertungs- und Qualitätssicherungsprozess durch.

Bei der Bewertung legen wir Wert sowohl auf Qualität als auch auf Quantität. Da der Liang-TOEFL-Datensatz beispielsweise nur 91 Beispiele enthält, könnten wir nur eine sehr grobe Schätzung unserer Falsch-Positiv-Rate bei ESL erhalten, wenn wir ausschließlich den Liang-TOEFL-Datensatz verwenden würden. Wenn wir nur ein einziges Beispiel falsch eingestuft hätten, würden wir eine Falsch-Positiv-Rate von 1,1 % melden, sodass wir nicht in der Lage wären, den Unterschied zwischen Modellen zu erkennen, die tatsächlich eine echte FPR von unter 1 % aufweisen.

Da wir eine Falsch-Positiv-Rate von deutlich unter 1 % anstreben (unsere angestrebte Falsch-Positiv-Rate liegt zwischen 1 zu 10.000 und 1 zu 100.000), müssen wir Millionen von Beispielen auswerten, um eine Genauigkeit auf diesem Niveau bestätigen zu können.

Eine groß angelegte Evaluierung hilft uns zudem dabei, ein besseres Gespür für die Fehlerquellen unseres Modells zu entwickeln und diese im Laufe der Zeit zu beheben, indem wir bessere Daten beschaffen und bessere algorithmische Strategien entwickeln, die speziell auf unsere Fehlerfälle zugeschnitten sind.

Kann man den KI-Detektoren auf ESL vertrauen?

Aufgrund unserer Messungen, detaillierten Auswertungsergebnisse und nachvollziehbaren Strategien zur Fehlerbehebung sind wir der Ansicht, dass Pangram bei Nicht-Muttersprachlern des Englischen ausreichend genau ist, um im Bildungsbereich eingesetzt zu werden.

Ein ausreichend unvoreingenommener KI-Detektor reicht jedoch nicht aus, um alle Formen von Voreingenommenheit im Prozess der akademischen Integrität zu verhindern. Lehrende sollten sich bewusst sein, dass Voreingenommenheit auf unbewusste Weise zum Ausdruck kommen kann. Wenn beispielsweise ein Lehrender aufgrund des unbewussten Verdachts, dass ESL-Studierende weniger ehrlich sind, eher dazu neigt, einen KI-Detektor bei Arbeiten von Nicht-Muttersprachlern einzusetzen, dann ist dies eine Form von Voreingenommenheit.

Darüber hinaus müssen Lehrkräfte sich bewusst sein, dass Nicht-Muttersprachler im akademischen Umfeld im Vergleich zu ihren englischsprachigen Kommilitonen mit strukturellen Nachteilen konfrontiert sind. ESL-Studierende greifen häufiger auf externe Hilfsmittel wie ChatGPT zurück, um ihre Schreibfähigkeiten zu verbessern; wird diese Software in ausreichendem Umfang genutzt, löst dies jedoch die KI-Erkennungssoftware aus. Aus diesem Grund empfehlen wir die „Perkins AI Assessment Scale“, um eine klare Kommunikation mit den Studierenden darüber zu ermöglichen, welche Art von KI-Unterstützung zulässig ist und welche nicht.

Schließlich wissen wir, dass Schüler schummeln, wenn sie unter Stress und Druck stehen oder wenn sie das Gefühl haben, dass der Einsatz eines KI-Tools der einzige Weg ist, um erfolgreich zu sein. Wir ermutigen Lehrkräfte, diese Faktoren proaktiv anzugehen, indem sie diesen Schülern Unterstützung anbieten, klar kommunizieren, welche Art von Hilfe verfügbar und erlaubt ist, und möglicherweise Bewertungsstrategien überdenken, die von Schülern, die bereits mit Benachteiligungen in den Unterricht kommen, kein perfektes Englisch erwarten.

Pangram sollte als Hilfsmittel zur Förderung der akademischen Integrität eingesetzt werden, damit Lehrkräfte besser verstehen, wie sie das Lernen ihrer Schüler am besten unterstützen können.

Wenn Sie mehr über unsere Forschungsarbeit und die Maßnahmen erfahren möchten, mit denen wir Vorurteile in unserer KI-Erkennungssoftware minimieren, kontaktieren Sie uns bitte unter info@pangram.com.


Bradley Emi
Bradley EmiCTO, Mitbegründer

Bradley ist KI-Forscher und Experte für die Entwicklung von Deep-Learning-Produkten in der Industrie. Zuletzt leitete er die Deep-Learning-Forschungsgruppe bei Absci, einem Unternehmen für generative KI in der Arzneimittelforschung, und war zuvor Mitglied des Kernteams für Computer Vision bei Tesla Autopilot.

Mehr von Bradley Emi

Weiterführende Literatur

Die Herausforderung der Leistungsbewertung
KI-Ausbildung

Die Herausforderung der Leistungsbewertung

2. Dezember 2025
Ist Pangram korrekt?
KI-Ausbildung

Ist Pangram korrekt?

16. Oktober 2026
Ist Ihr Bild nach der Bearbeitung durch KI noch echt?
KI-Ausbildung

Ist Ihr Bild nach der Bearbeitung durch KI noch echt?

28. September 2026
Ein mosaikartiger Ansatz zur akademischen Integrität im Zeitalter der KI (mit Chris Ostro)
KI-Ausbildung

Ein mosaikartiger Ansatz zur akademischen Integrität im Zeitalter der KI (mit Chris Ostro)

8. Dezember 2025
Was ist zu tun, wenn eine studentische Arbeit als KI-generiert markiert wird?
KI-Ausbildung

Was ist zu tun, wenn eine studentische Arbeit als KI-generiert markiert wird?

21. Mai 2026
Warum Perplexität und Burstiness bei der Erkennung von KI versagen
KI-Ausbildung

Warum Perplexität und Burstiness bei der Erkennung von KI versagen

4. März 2025