So sammeln Sie Beweismaterial für einen Fall im Bereich der akademischen Integrität im Zusammenhang mit KI

Wir möchten Marilyn Derby, stellvertretende Direktorin für studentische Betreuung und Rechtsangelegenheiten an der UC Davis, für ihren Beitrag zu den Ideen in diesem Artikel sowie für einige der in diesem Beitrag verwendeten Bildmaterialien danken. Unser Dank gilt auch Amanda Clarke, Leiterin des Fachbereichs Englisch an der Viewpoint School in Kalifornien, für ihren hervorragenden Hinweis zur Unterscheidung zwischen den Merkmalen von Schülertexten und KI-generierten Texten.

Vielleicht haben Sie einen Aufsatz erhalten und haben das Gefühl, dass der Text nicht von einem Schüler aus Ihrer Klasse stammt. Sie geben ihn bei Pangram ein, und das Ergebnis lautet, dass der Text mit einer Wahrscheinlichkeit von 99,9 % von einer KI generiert wurde.

Oder vielleicht sind Sie Beauftragter für akademische Integrität, und ein Professor meldet die Arbeit eines Studenten wegen eines durch KI erzeugten Plagiats, doch der Student und seine Eltern bestehen darauf, dass der Student sie selbst verfasst hat.

Man liest den Text und erkennt alle typischen Merkmale eines von einer KI verfassten Textes. „Im heutigen technologischen Zeitalter“, so beginnt der Text. Der Schüler erklärt, dass ein Autor „die Details durch ein reichhaltiges Geflecht von Perspektiven auf komplexe Weise miteinander verwebt“. Der grammatikalisch einwandfreie, gleichmäßig strukturierte Aufsatz endet mit der klassischen Formulierung „Zusammenfassend lässt sich sagen, dass …“ oder vielleicht „Insgesamt …“

Tief in Ihrem Inneren wissen Sie, dass Ihr Schüler die Hausarbeit nicht selbst geschrieben hat, aber Sie können es einfach nicht beweisen. Was tun Sie, wenn die Leute, die Sie überzeugen wollen, sagen: „KI-Detektoren funktionieren nicht und sind nicht vertrauenswürdig“ oder „Man kann das unmöglich mit Sicherheit wissen“?

Wie wir bereits erwähnt haben, ist ein positiver KI-Befund nur der Anfang des Verfahrens und kann niemals als alleinige Grundlage dienen, wenn Strafmaßnahmen gegen einen Schüler in Betracht gezogen werden. Obwohl wir von der Genauigkeit unseres Produkts überzeugt sind, sind wir auch der Ansicht, dass in Fällen von hoher Tragweite ein ganzheitlicher Ansatz verfolgt werden sollte und dass nach dem KI-Befund weitere Beweise gesammelt werden müssen, um zweifelsfrei nachzuweisen, dass die Arbeit eines Schülers nicht authentisch oder nicht originell ist.

Heute werden wir 7 Strategien besprechen, mit denen man in solchen Fällen zusätzliche Beweise sammeln kann.

1. Sammeln Sie detailliertere Textbelege

KI-generierte Texte lassen sich niemals anhand einer bestimmten Phrase oder Wortwahl „entlarven“: Pangram trifft seine Entscheidung auf der Grundlage einer Vielzahl schwacher Signale im Text. Ebenso können Sie nach vielen der in KI-generierten Texten vorhandenen Signale suchen und diese in ihrer Gesamtheit heranziehen, um zu belegen, dass die KI-Signale nicht zufällig entstanden sein können. Sie sollten zunächst nach typischen KI-Phrasen suchen und prüfen, ob diese häufig vorkommen. In eindeutigen Fällen enthält der KI-generierte Text so viele davon, dass es sehr schwer zu argumentieren ist, dass es sich um einen Zufall handelt, wie in den folgenden Beispielen.

Häufige Begriffe und Wörter aus dem Bereich der KI

Eine umfassende Liste häufig verwendeter Begriffe und Formulierungsmuster aus dem Bereich der KI finden Sie in Jenna Russells Leitfaden.

Pangram kann diese Phrasen ebenfalls automatisch extrahieren, zusammen mit ihrer Häufigkeit. Es ist wichtig zu verstehen, dass keine dieser Phrasen für sich genommen ein Beweis dafür ist, dass der Text von einer KI generiert wurde, aber das gemeinsame Vorkommen vieler dieser Phrasen ist ein sehr starkes Indiz, da es äußerst unwahrscheinlich ist, dass all diese Phrasen zufällig aufgetaucht wären.

Beispiel für eine Analyse der Häufigkeit von KI-Begriffen

Über die Ebene einzelner Wörter und Phrasen hinaus kannst du auch nach übergeordneten Merkmalen von KI-Texten Ausschau halten.

Leitfaden zur Unterscheidung zwischen Texten von Studierenden und KI-Texten

Dieser hervorragende Leitfaden von Amanda Clarke zeigt einige der Unterschiede in Stil und Tonfall auf, die zwischen von Schülern verfassten Texten und KI-generierten Texten bestehen. Zusammenfassend lassen sich folgende wichtige Punkte hervorheben:

• KI-Texte gehen selten auf konkrete Belege ein, sondern bedienen sich lieber vager Allgemeinplätze. Wenn sie dies doch tun, können sie diese Details erfinden. Direkte Reflexionen der Schüler über die Arbeit und konkrete Textzitate sind Merkmale von Schülertexten, die KI-Chatbots noch nicht nachahmen können.
• Von einer KI verfasste Texte werden ein Thema nicht wirklich aus der Perspektive eines Schülers beleuchten.
• KI-Texte zeichnen sich durch eine durchweg einwandfreie Grammatik und einen flüssigen, neutralen Stil aus.

Es ist außerdem anzumerken, dass es oft zu abrupten Wechseln in Tonfall und Stil kommen kann, wenn sich die eigenen Texte eines Schülers mit KI-generierten Texten vermischen.

2. Sammeln Sie Belege für den Prozess

Wenn eine Arbeit von einem Studierenden verfasst wird, ist dies das Ergebnis eines Schreibprozesses, der aus Brainstorming, Gliederung, Entwurf, Überarbeitung und Korrekturlesen besteht. Wenn eine Arbeit aus generativer KI plagiiert wird, wird sie oft einfach kopiert und eingefügt.

Eine einfache Möglichkeit, den Schreibprozess eines Schülers zu überprüfen, besteht darin, ihn nach Belegen zu fragen: Bitten Sie ihn um seine Notizen, seine Brainstorming-Ergebnisse und seine Gliederungen. Handelt es sich um eine endgültige Fassung, bitten Sie ihn, Ihnen den Rohentwurf zu zeigen. Oft reicht dies bereits aus, um den Schreibprozess nachzuweisen: Ehrliche Schüler scheuen sich nicht, diesen zu belegen, während Schüler, die schummeln, diese Belege oft schlichtweg nicht vorlegen können.

Es gibt auch Tools, mit denen sich der Schreibprozess der Schüler überprüfen lässt. „Draftback“ ist beispielsweise eine Chrome-Erweiterung, mit der Sie den Schreibverlauf eines Schülers in Google Docs nachverfolgen können. Uns sind außerdem „Brisk Teaching“, „Cursive Technologies“ und „Visible AI“ bekannt. In Kombination mit „Pangram“ können diese Tools sehr leistungsstark sein.

Beispiel für Draftback-Wiederholungsdaten

In der obigen Draftback-Anzeige können Sie sehen, an welchen Stellen der Schüler seinen Text überarbeitet hat oder ob es sich um einen einzigen großen Kopier- und Einfügevorgang handelte.

Tools zur Überwachung des Schreibprozesses allein sollten nicht als unumstößlicher Beweis angesehen werden. Da die Studierenden wissen, dass Lehrkräfte mittlerweile den Änderungsverlauf überprüfen, um die akademische Integrität sicherzustellen, sind sie sich der Tatsache bewusst, dass sie durch Kopieren und Einfügen angreifbar werden. Manche Studierenden übertragen die ChatGPT-Ausgaben einfach in ihr Dokument, sodass es so aussieht, als hätten sie es selbst verfasst.

Schlimmer noch: Es gibt mittlerweile Software-Tools, die den Versionsverlauf fälschen, wie beispielsweise diese Chrome-Erweiterung namens „Human Auto Typer“.

Beispiel für die Chrome-Erweiterung „Human Auto Typer“

Beachten Sie, dass es zwar nützlich sein kann, den Schreibprozess und den Überarbeitungsverlauf eines Schülers zu überprüfen, es mittlerweile jedoch Möglichkeiten gibt, wie Schüler diese einfachen Kontrollen umgehen können.

3. Überprüfen Sie die Gültigkeit der Quellenangabe

Generative KI erfindet häufig Quellenangaben, zitiert Quellen falsch und macht andere Fehler bei der Quellenangabe, die leicht zu erkennen sind. Wenn KI-Chatbots nicht wissen, welche Quellen eine von ihnen aufgestellte Behauptung stützen, erfinden sie in den meisten Fällen einfach eine fiktive Quellenangabe. Siehe das Beispiel von Claude unten.

Beispiel dafür, wie Claude Zitate erfindet

Fehler bei der Quellenangabe gehören in AI-Fällen oft zu den überzeugendsten Beweisen, da eine vorsätzliche Fälschung einer Forschungsquelle an sich schon einen Verstoß gegen die akademische Integrität darstellt. Oft reicht es aus, einen Blick auf das Literaturverzeichnis oder die Quellenangaben zu werfen und zu prüfen, ob die Einträge echte wissenschaftliche Arbeiten darstellen. Wenn man die erste Arbeit googelt und feststellt, dass es sich nicht um eine echte Arbeit handelt, ist das ein unglaublich starker Hinweis auf einen Verstoß.

Auch hier ist Vorsicht geboten: Echte Quellenangaben sind kein sicherer Beweis dafür, dass der Studierende keine KI verwendet hat. Neue Tools wie Deep Research und Perplexity geben tatsächlich korrekte Quellen an, und Chatbots werden immer besser darin, keine falschen Quellen anzugeben.

4. Überprüfen Sie, ob der Schüler sein eigenes Geschriebenes versteht

Eine der einfachsten Methoden, um zu überprüfen, ob die Arbeit eines Schülers oder einer Schülerin echt oder gefälscht ist, besteht darin, ihm oder ihr einfach Fragen zu der Arbeit zu stellen. Wenn das Sprachniveau der eingereichten Arbeit nicht dem Sprachniveau des Schülers oder der Schülerin entspricht, fragen Sie ihn oder sie nach den komplexesten Teilen des Textes. Bei jüngeren Schülern reicht es oft schon aus, sie nach der Bedeutung eines komplizierten Wortes zu fragen, das ChatGPT häufig verwendet, das Schüler dieses Niveaus aber niemals benutzen (wie zum Beispiel „axiomatisch“), damit der Schüler zugibt, dass er KI verwendet hat.

Auf Hochschulniveau, wo von den Studierenden erwartet wird, dass sie neue, originelle Ideen entwickeln, sollten Sie ihnen Fragen dazu stellen, wie sie auf diese Idee gekommen sind. Oftmals führt dies zu einer Diskussion über den Schreibprozess, in der Sie Informationen darüber sammeln können, wie der Text entstanden ist, wie wir unter Punkt 2 beschrieben haben.

Es ist wichtig, Einfühlungsvermögen zu zeigen und einen sicheren Raum für Gespräche zu schaffen. Ein Gespräch über akademische Integrität mit Studierenden kann sehr belastend sein, und die Studierenden reagieren möglicherweise defensiv, wenn ihnen Beweise vorgelegt werden. Der beste Ansatz für das Gespräch mit den Studierenden besteht darin, einfach ein klares Verständnis dafür zu entwickeln, was geschehen ist, damit Sie Ihr Bestes tun können, um den Studierenden zu helfen, in Zukunft erfolgreich zu sein. Geben Sie dem Studierenden die Chance, seine Fehler zu korrigieren und zu erklären, warum er auf KI zurückgreifen musste, anstatt die Aufgabe selbst zu erledigen. Wir empfehlen außerdem, offen dafür zu sein, dass der Einsatz von KI möglicherweise eher auf einem Missverständnis beruhte als auf einer absichtlichen Fehlhandlung. In einem unserer früheren Blogbeiträge haben wir ausführlicher darüber geschrieben, wie man solche Gespräche führt.

5. Vergleichen Sie die Arbeit mit früheren Arbeitsproben des Schülers

Insbesondere bei jüngeren oder noch in der Entwicklung befindlichen Schülern liegt das Niveau der KI-generierten Texte oft deutlich über dem, was man von den schriftlichen Arbeiten eines Schülers erwarten würde.

Wir empfehlen, frühere schriftliche Arbeiten eines Studierenden heranzuziehen. Universitäten verfügen oft über zentrale Datenbanken, aus denen Aufsätze aus anderen Kursen abgerufen werden können. Wenn der Studierende neu bei Ihnen ist, können Sie gerne den vorherigen Dozenten um einige Schreibproben dieses Studierenden bitten.

Ein plötzlicher Sprung im Schreibniveau – von einem Schüler, der schlecht schreibt, zu einem Schüler, der orthografisch und grammatikalisch einwandfrei schreibt – gibt Anlass zur Sorge.

6. Vergleichen Sie die Arbeit mit der Antwort von ChatGPT

Die Ausgaben von ChatGPT weisen oft keine großen Abweichungen auf. Wenn man dieselbe Eingabe zweimal in ChatGPT einfügt, liefert das Programm zwar nicht genau denselben Text, doch weisen die Ergebnisse oft so viele Ähnlichkeiten auf, dass es kaum an Zufall liegen kann.

Beispiel für einen direkten Vergleich mit ChatGPT

Mit der „Side By Side“-Funktion von Pangram können Sie den eigenen Text automatisch neben dem von ChatGPT generierten Text anzeigen lassen. Auch wenn die Formulierungen nicht exakt identisch sind, heben wir Phrasen hervor und verknüpfen sie miteinander, die sich in ihrer Bedeutung sehr ähneln.

Eine weitere Methode besteht darin, mehrere Antworten von ChatGPT zu generieren und deren Ähnlichkeit zu prüfen. Lässt sich der Beitrag nicht ohne Weiteres aus der Masse herausfiltern, handelt es sich wahrscheinlich ebenfalls um KI.

Es ist hilfreich, wenn du die Aufgabenstellung kennst: So kannst du die Aufgabenstellung direkt als Eingabe für ChatGPT verwenden. Aber auch wenn dir die Aufgabenstellung nicht bekannt ist, kannst du dennoch eine sinnvolle Eingabe formulieren. Versuche, eine Eingabe zu finden, die konkret genug ist, um einen Aufsatz zu erzeugen, der dem von dir gesuchten ähnelt, aber nicht so konkret, dass er durch einfaches Kopieren exakt derselbe wird. Die Nutzung von ChatGPT selbst kann hierfür eine nützliche Hilfe sein: Füge den Aufsatz in ChatGPT ein und frage, welche Hauptgedanken, Themen und Fragen der Text behandelt, und probiere mehrere Eingabeaufforderungen aus, um zu sehen, welche semantisch ähnlich ausfallende Aufsätze erzeugen, damit du prüfen kannst, ob sie stilistisch übereinstimmen.

7. Sammeln Sie weitere Meinungen

Laut Russell et al. – einer Studie der University of Maryland, die wir bereits zuvor erörtert haben – können Experten mit einer Genauigkeit von 92,7 % feststellen, ob ein Text von einer KI generiert wurde oder nicht. Ein Gremium aus fünf Experten kann jedoch, wenn man die Mehrheitsentscheidung betrachtet, nahezu fehlerfrei sein (bei den 300 Texten, die die Forscher untersuchten, lag die Genauigkeit der Mehrheitsentscheidung bei perfekten 100 %).

Wir empfehlen Ihnen, Kollegen in Ihrer Abteilung oder an Ihrer Schule darin zu schulen, wie man KI-generierte Texte auf den ersten Blick erkennt, damit Sie in schwierigen Fällen mehrere Meinungen einholen können. Das gemeinsame Besprechen der verschiedenen Anhaltspunkte, die jeder einzelne Prüfer wahrnimmt, ist eine hervorragende Möglichkeit, mehr Sicherheit bei der Beurteilung der Echtheit eines Textes zu gewinnen.

Darüber hinaus können Einzelpersonen, wie in allen rechtsnahen Fällen, bei ihrer Entscheidungsfindung unbewusst oder bewusst voreingenommen sein, und zwar aus Gründen, die außerhalb der Kontrolle des Studierenden liegen. Der Einsatz eines Gremiums aus mehreren Personen bei der Beurteilung, ob ein Studierender gegen die akademische Integrität verstoßen hat oder nicht, kann nicht nur zu einer höheren Genauigkeit beitragen, sondern sollte letztendlich auch dazu beitragen, dass Ihr Verfahren fairer gestaltet wird.

Die Bedeutung zusätzlicher Beweise in KI-Fällen

In diesem Blogbeitrag haben wir uns verschiedene Möglichkeiten angesehen, wie Sie über die reine Punktzahl hinausgehen und Pangram sowie andere Tools nutzen können, um Beweise für Ihre Argumentation zu sammeln – sei es im Hinblick auf den missbräuchlichen Einsatz von KI oder zum Schutz eines Schülers, der des Betrugs mittels KI beschuldigt wird, obwohl er tatsächlich unschuldig ist.

Kein einzelner Beweis ist bei der Entscheidung über den Ausgang des Falles absolut wasserdicht, aber je mehr Beweise Sie sammeln und zusammentragen können, desto fairer und fundierter kann Ihr Verfahren zur Wahrung der akademischen Integrität sein.