Pangram zeigt bei verschiedenen Schüleraufsätzen 0 Fehlalarme an

Es ist wichtig zu verstehen, wie Pangram bei verschiedenen Arten von Autoren abschneidet. Datensätze mit von Menschen verfassten Aufsätzen, die demografische Informationen zu den Autoren enthalten, sind nicht leicht zu beschaffen, doch die Bewertung der Leistung von Pangram anhand von Texten, die von verschiedenen Arten von Autoren verfasst wurden – darunter Studierende mit Behinderungen, Menschen mit Migrationshintergrund, Nicht-Muttersprachler und wirtschaftlich benachteiligte Gruppen –, ist unerlässlich, um zu verstehen, ob das Modell jeden Autor fair behandelt.

Der PERSUADE-Datensatz trägt dazu bei, dieses Problem anzugehen. PERSUADE („Persuasive Essays for Rating, Selecting, and Understanding Argumentative and Discourse Elements“) wurde entwickelt, um die Erstellung unvoreingenommener Algorithmen zur Bewertung von Schülertexten voranzutreiben, und ist eine mit Anmerkungen versehene Sammlung von fast 26.000 Aufsätzen amerikanischer Mittel- und Oberstufenschüler, die zwischen 2010 und 2020 verfasst wurden. Der Datensatz umfasst Schüler*innen mit unterschiedlichen Hintergründen und Leistungsniveaus, und jeder Aufsatz ist mit demografischen Informationen über den Autor oder die Autorin versehen, wie beispielsweise Klassenstufe, Geschlecht, ethnische Zugehörigkeit und sozioökonomischer Hintergrund.

Der PERSUADE-Datensatz bietet aus zwei Gründen eine hervorragende Gelegenheit, Pangram zu bewerten. Erstens wird Pangram nicht mit dem PERSUADE-Datensatz trainiert, sodass wir damit testen können, wie gut Pangram auf bisher unbekannte Schülertexte verallgemeinert. Zweitens ermöglichen uns die demografischen Daten von PERSUADE – einschließlich Schreibproben aus benachteiligten Bevölkerungsgruppen – zu untersuchen, ob Pangram über verschiedene demografische Gruppen hinweg fair abschneidet.

Wichtigste Erkenntnis: Wir haben Pangram 4 anhand des PERSUADE-2.0-Datensatzes mit vielfältigen Schüleraufsätzen evaluiert und bei allen 25.996 Aufsätzen keinerlei Fehlalarme festgestellt. Außerdem haben wir die Ergebnisse nach Behinderungsstatus, Geschlecht, Klassenstufe, Rasse und ethnischer Zugehörigkeit, Status als Englischlernender sowie wirtschaftlicher Benachteiligung untersucht. Pangram erzeugte in jeder der untersuchten Untergruppen keinerlei Fehlalarme.

Die nachstehende Aufschlüsselung beschreibt, wie die Forscher die einzelnen demografischen Merkmale im PERSUADE-Datensatz definiert haben, und gibt die Anzahl der in jeder Gruppe vertretenen Aufsätze an.

Behinderung

Der Begriff „Behinderungsstatus“ im PERSUADE 2.0-Datensatz bezieht sich auf Schüler, die über einen individuellen Förderplan (IEP) oder einen 504-Plan verfügen, und kann Schüler mit einer Vielzahl von Lernbehinderungen oder gesundheitlichen Beeinträchtigungen umfassen.

Geschlecht

Das Geschlecht im PERSUADE-Datensatz wird durch Selbstangabe ermittelt; das Verhältnis zwischen Männern und Frauen liegt bei etwa 50:50. Pangram weist bei beiden Geschlechtsgruppen keine beobachteten Fehlalarme auf.

Klassenstufe

Pangram 4 lieferte in keiner der untersuchten Klassenstufen falsche Positive, was die Robustheit von Pangram für viele verschiedene Niveaustufen der Schreibkompetenz belegt.

Ethnische Zugehörigkeit

Die Mehrheit der in der PERSUADE-Datenbank erfassten Autoren gab an, weiß zu sein (45 %), gefolgt von hispanischer Herkunft (25 %) und afroamerikanischer Herkunft (19 %), was in etwa die demografische Verteilung der US-amerikanischen Studierenden widerspiegelt.

Status als Englischlernender (ELL)

Während einige frühere Untersuchungen darauf hindeuteten, dass ältere KI-Erkennungsprogramme möglicherweise eine Verzerrung gegenüber Englisch als Zweitsprache und Englischlernenden aufwiesen, hat Pangram im Wesentlichen keine Verzerrung gegenüber diesen Autoren gezeigt und weist im PERSUADE-Datensatz eine beobachtete FPR von 0 % bei ELL-Schülern auf.

Wirtschaftliche Benachteiligung

Wirtschaftliche Benachteiligung wird im PERSUADE-Korpus als Anspruch der Schüler auf bestimmte staatliche Unterstützungsleistungen definiert, wie beispielsweise kostenlose oder preisreduzierte Schulmahlzeiten und die „Supplemental Nutrition Assistance Programs“ (SNAP).

Fazit

Bei allen 25.996 von Menschen verfassten Aufsätzen im PERSUADE 2.0-Korpus lieferte Pangram 4 in keiner Untergruppe – einschließlich Behinderungsstatus, Geschlecht, Klassenstufe, ethnischer Zugehörigkeit, Status als Englischlernender und wirtschaftlicher Benachteiligung – falsche Positive. Dieses Ergebnis zeigt, dass Pangram sich gut auf vielfältige Autorengruppen übertragen lässt, ohne die Werke dieser Autoren unverhältnismäßig oft fälschlicherweise als KI-generiert einzustufen.

Unser Ziel ist es, Fehlalarme in allen Autorengruppen so selten wie möglich zu halten, und eine kontinuierliche Bewertung ist dabei von großer Bedeutung. Im Rahmen von PERSUADE 2.0 weist Pangram 4 jedoch in jeder demografischen Untergruppe null Fehlalarme auf.

Literaturverzeichnis

• PERSUADE-Datensatz – The Learning Agency Lab
• PERSUADE 1.0 – Fachartikel
• PERSUADE 2.0 – Fachartikel
• PERSUADE 2.0-Korpus auf GitHub