Pangrams Leistung bei Aufsätzen von Studierenden und Doktoranden

Wir haben Pangram bereits zuvor am PERSUADE-Korpus evaluiert, einer Sammlung von fast 26.000 Aufsätzen einer vielfältigen Gruppe von Schülern der Mittel- und Oberstufe. In dieser Evaluierung erweitern wir diese Analyse und vergleichen Pangram 4.1 mit einer Auswahl von Texten von Studierenden und Doktoranden, insbesondere von Doktoranden, deren Muttersprache nicht Englisch ist.

Für diesen Benchmark verwenden wir Pangram 4.1, um neun Korpora mit insgesamt 15.420 Dokumenten zu analysieren, die von Studierenden und Doktoranden verfasst wurden, für die Englisch eine Zweitsprache ist. Die Dokumente wurden an Universitäten in 16 Ländern auf drei Kontinenten verfasst und gesammelt und umfassen Texte aus 51 Muttersprachengruppen, darunter Mandarin, Arabisch, Japanisch, Spanisch und Russisch.

Leistung

Insgesamt umfasste diese Auswertung 9,5 Millionen Wörter, wobei das längste Dokument 10.916 Wörter und das kürzeste 52 Wörter enthielt.

Pangram 4.1 erzielte bei allen 9 Datensätzen null Fehlalarme.

Alle Datensätze enthielten Angaben zur Muttersprache des Autors, und viele enthielten zudem Informationen zur Art der Aufgabe, zur Klasse, zum Jahrgang oder zum Studiengang – diese Angaben sind im Folgenden nach Korpus zusammengefasst.

Details zum Datensatz

Für diese Analyse bewerten wir Pangram 4.1 anhand einer Auswahl von Bachelor-Arbeiten aus mehreren externen, von Menschen verfassten Datensätzen aus der Zeit vor 2022. Die Muttersprache wird manchmal mit L1 bezeichnet.

• ArCC: Eine Sammlung von 779 argumentativen und reflektierenden Aufsätzen, die von Bachelor- und Masterstudierenden mit Arabisch als Muttersprache in englischer Sprache verfasst wurden. Die Texte umfassten zwischen 53 und 889 Wörtern.
• Das „Nagoya Interlanguage Corpus of English Reformed“ (NICER), das von Forschern der Universität Nagoya erstellt wurde, ist eine Sammlung von 381 unter Aufsicht verfassten, einstündigen Aufsätzen in englischer Sprache, die von japanischsprachigen Studierenden verfasst wurden.
• Das „Chinese and English Learner Language“ (CELL)-Korpus ist eine Sammlung von 2.850 Aufsätzen, die von Studierenden der Open University of Hong Kong verfasst wurden. Zu den Muttersprachen zählen unter anderem Kantonesisch und Putonghua. Diese Aufsätze entstanden im Rahmen von Hausarbeiten und umfassen zwischen 91 und 5.929 Wörtern, wobei der Durchschnitt bei 1.307 Wörtern liegt.
• Das „Corpus of Turkish Undergraduate Writers of English“ (TUWE) ist eine Sammlung von 341 argumentativen Aufsätzen mit einer Wortzahl zwischen 356 und 1.312 Wörtern und einer durchschnittlichen Länge von 778 Wörtern. Die Aufsätze wurden von türkischen Studierenden an der Erciyes-Universität, deren Muttersprache Türkisch ist, auf Englisch verfasst.
• Das „Zayed Arabic-English Bilingual Undergraduate Corpus“ (ZAEBUC) ist eine Sammlung kurzer Aufsätze, die von Studierenden der Zayed-Universität in den Vereinigten Arabischen Emiraten verfasst wurden. Forscher haben diesen Datensatz von August bis September 2019 zusammengestellt. Im Folgenden berichten wir über die Ergebnisse für die englische Teilmenge von 383 Aufsätzen mit einer durchschnittlichen Länge von 228 Wörtern, deren Niveaustufen nach dem Gemeinsamen Europäischen Referenzrahmen (GER) von A1 bis C1 reichen. Zusätzlich haben wir Pangram auf die arabische Teilmenge von 215 Aufsätzen angewendet, sodass insgesamt 603 Aufsätze von 397 Studierenden ausgewertet wurden. Pangram 4.1 wies in keiner der beiden Teilmengen falsche Positive auf.
• Das „South African Multilingual Learner Corpus of Academic Texts“ (SAMuLCAT) ist eine Sammlung von Texten südafrikanischer Bachelor-Studierender, die als Hausaufgaben unter Verwendung von Rechtschreibprüfung und Wörterbüchern verfasst wurden. Zu den Textgattungen gehören argumentative oder überzeugende Aufsätze, Diskussionen und erzählende Texte. Die Aufsätze umfassen zwischen 52 und 5.233 Wörter, wobei der Durchschnitt bei 687 Wörtern liegt. Zu den Muttersprachen der Autoren in dieser Teilmenge gehören Sesotho, isiZulu, Setswana, isiXhosa und andere. Oben berichten wir über unsere Ergebnisse zur englischen Teilmenge mit 4.839 Beispielen; zusätzlich haben wir 579 Aufsätze von Autoren mit Englisch als Muttersprache gescannt, sodass insgesamt 5.660 Aufsätze vorlagen. In beiden Teilmengen konnten wir keine Fehlalarme feststellen.
• Das „Michigan Corpus of Upper-level Student Papers“ (MICUSP) ist eine Sammlung von 829 herausragenden Arbeiten – die entweder mit der Note A oder A- bewertet wurden –, die von Studierenden im letzten Bachelor-Studienjahr sowie von Masterstudierenden an der University of Michigan verfasst wurden und durchschnittlich 3.157 Wörter umfassen. Von diesen Arbeiten stammen 148 von Studierenden, deren Muttersprache nicht Englisch ist: 38 Bachelorarbeiten und 110 Masterarbeiten. Zu den Erstsprachen (L1) dieser Untergruppe gehören Mandarin, Koreanisch, Spanisch, Russisch, Hindi und andere, und die Arbeiten decken 16 Fachgebiete ab, darunter Psychologie, Soziologie, Ingenieurwissenschaften, Biologie und geisteswissenschaftliche Fächer. Wir berichten hier über die oben genannte Untergruppe mit nicht-englischer Erstsprache; wir haben jedoch zusätzlich Pangram 4.1 auf die 681 Arbeiten mit Englisch als Erstsprache angewendet und in keiner der beiden Untergruppen falsche Positive festgestellt.
• Der USask-Datensatz umfasst 141 Literaturübersichten von Masterstudierenden, die von 51 Studierenden mit Englisch als Zweitsprache verfasst wurden, die an verschiedenen kanadischen Universitäten eingeschrieben waren und deren Sprachkenntnisse auf einer Skala des International English Language Testing System (IELTS) zwischen 6,5 und 8,5 lagen. Die Studierenden waren in Studiengängen wie Linguistik, Pädagogik und Politikwissenschaft eingeschrieben. Die Literaturübersichten umfassten zwischen 264 und 4.391 Wörter, wobei der Durchschnitt bei 1.028 Wörtern lag.

Ein Datensatz wurde zudem im technischen Bericht zu Pangram 4 erwähnt, den wir hier für Pangram 4.1 wiedergeben.

• Das „International Corpus Network of Asian Learners of English“ (ICNALE) hat ein Modul für schriftliche Aufsätze (WE) seines Datensatzes veröffentlicht, das aus 5.593 unter Zeitdruck verfassten Aufsätzen in englischer Sprache besteht. ICNALE WE erfasst keine Daten zur Muttersprache, umfasst jedoch englische Texte von Studierenden aus zehn asiatischen Ländern, darunter China, Hongkong, Indonesien, Japan und Korea.

Aufgrund der großen Auswahl an Aufsätzen umfasst dieser Benchmark eine Vielzahl von Aufgabentypen – von Hausarbeiten bis hin zu zeitlich begrenzten Aufsätzen –, verschiedene Unterstützungsstufen – von uneingeschränkter Unterstützung bis hin zu beaufsichtigten Prüfungen –, unterschiedliche Englischkenntnisstufen sowie verschiedene Studiengänge.

Methodik

Ich habe nach Forschungsdatensätzen gesucht, die die folgenden Kriterien erfüllten:

• Sammlungen von Texten von Studierenden im Grund- oder Hauptstudium; ausgenommen sind Datensätze, die von Studieninteressierten, nicht immatrikulierten Studierenden oder Schülern verfasst wurden, sowie Aufsätze für die Hochschulbewerbung
• Enthält Metadaten zum Status als Muttersprachler oder Englischlernender oder ist anderweitig angegeben (beispielsweise, wenn der gesamte Datensatz aus einer einzigen Muttersprachlergruppe stammt)
• Besteht hauptsächlich aus Aufsätzen, Berichten, ausführlichen Antworten, Literaturübersichten, Abschlussarbeiten, kreativen Texten usw.; ausgenommen sind Datensätze, die ausschließlich aus Kurzantworten bestehen
• Enthält mindestens 100 Dokumente mit einer medianen Wortzahl von über 175 Wörtern

Ich habe Duplikate aus den Dokumenten entfernt und alle Einträge mit weniger als 50 Wörtern aussortiert. Ansonsten habe ich die Einträge nur minimal vorbearbeitet. Ich habe mich dafür entschieden, jeden Text zweimal mit Pangram 4.1 zu scannen: einmal ohne Vorwort und Literaturverzeichnis und einmal mit diesen Elementen – und stellte fest, dass das Ergebnis unverändert blieb. Außerdem habe ich dieselben 15.420 Texte mit unserem Vorgängermodell, Pangram 4, gescannt, das ebenfalls keine Fehlalarme erzeugte.

Wie immer legen wir den Begriff „Falsch-Positiv“ streng aus: Wir stufen ein Dokument als Falsch-Positiv ein, wenn auch nur ein einziges Segment als „KI“ oder „KI-gestützt“ gekennzeichnet ist.

Pangram 4.1 wurde nicht anhand dieser Dokumente trainiert oder kalibriert, sodass dies ein aussagekräftiger Test dafür ist, wie Pangram bei bisher unbekannten Texten von Studierenden abschneidet.

Im Rahmen dieser Auswertung haben wir zusätzlich 1.743 Texte gescannt, die nicht in den wichtigsten Ergebnissen aufgeführt waren, da sie bestimmte Kriterien nicht erfüllten (in der Regel wurden sie ausgeschlossen, weil sie von einem Autor verfasst wurden, dessen Muttersprache Englisch ist), und dabei 0 Fehlalarme festgestellt.