Wie man Beweise für einen Fall von akademischer Unredlichkeit im Zusammenhang mit KI sammelt

Wir möchten Marilyn Derby, stellvertretende Direktorin für Studentenbetreuung und Rechtsangelegenheiten an der UC Davis, für ihren Beitrag zu den Ideen in diesem Artikel und für einige der in diesem Beitrag verwendeten visuellen Ressourcen danken. Wir möchten auch Amanda Clarke, Vorsitzende der Englischabteilung an der Viewpoint School in Kalifornien, für ihre hervorragende Referenz zur Unterscheidung der Merkmale von studentischen Texten und KI-Texten danken.

Vielleicht haben Sie einen Aufsatz erhalten und haben das Gefühl, dass der Text nicht von einem Schüler Ihrer Klasse stammt. Sie lassen ihn durch Pangram laufen und erhalten eine 99,9-prozentige Sicherheit, dass der Text von einer KI generiert wurde.

Oder vielleicht sind Sie für akademische Integrität zuständig und ein Professor meldet die Arbeit eines Studenten wegen KI-generiertem Plagiat, doch der Student und seine Eltern bestehen darauf, dass der Student sie selbst geschrieben hat.

Sie lesen den Text und er weist alle typischen Merkmale eines KI-Textes auf. „Im heutigen technologischen Zeitalter“, beginnt der Text. Der Schüler erklärt, dass ein Autor „die Details durch eine reichhaltige Vielfalt an Perspektiven kunstvoll miteinander verwebt“. Der grammatikalisch einwandfreie, gleichmäßig strukturierte Aufsatz endet mit der klassischen Formulierung „Zusammenfassend lässt sich sagen, dass ...“ oder vielleicht „Insgesamt lässt sich sagen, dass ...“.

Sie wissen tief in Ihrem Inneren, dass Ihr Schüler die Hausarbeit nicht selbst geschrieben hat, aber Sie können es einfach nicht beweisen. Was tun Sie, wenn die Leute, die Sie überzeugen wollen, sagen: „KI-Detektoren funktionieren nicht und sind nicht zuverlässig“ oder „Man kann es unmöglich mit Sicherheit wissen“?

Wie wir bereits erwähnt haben, ist eine positive KI-Erkennung nur der Anfang der Diskussion und kann niemals allein als Grundlage für Strafmaßnahmen gegen einen Schüler dienen. Obwohl wir von der Genauigkeit unseres Produkts überzeugt sind, glauben wir auch, dass in wichtigen Fällen ein ganzheitlicher Ansatz verfolgt werden sollte und dass nach der KI-Erkennung weitere Beweise gesammelt werden müssen, um zweifelsfrei nachzuweisen, dass die Arbeit eines Schülers nicht authentisch oder nicht originell ist.

Heute werden wir 7 Strategien besprechen, um zusätzliche Beweise für solche Fälle zu sammeln.

1. Sammeln Sie detailliertere Textbelege.

KI-generierte Texte lassen sich niemals anhand einer bestimmten Phrase oder Wortwahl „entlarven“: Pangram trifft seine Entscheidung auf der Grundlage einer Ansammlung vieler schwacher Signale im Text. Ebenso können Sie nach vielen der in KI-generierten Texten vorhandenen Signale suchen und diese in ihrer Gesamtheit nutzen, um zu zeigen, dass die KI-Signale nicht zufällig aufgetreten sein können. Sie sollten zunächst nach gängigen KI-Phrasen suchen und prüfen, ob diese häufig vorkommen. In eindeutigen Fällen enthält der KI-generierte Text so viele davon, dass es sehr schwer ist, zu argumentieren, dass es sich um einen Zufall handelt, wie in den folgenden Beispielen.

Häufige KI-Ausdrücke und -Begriffe

Eine umfassende Liste häufig verwendeter KI-Vokabeln und Ausdrucksweisen finden Sie in Jenna Russells Leitfaden.

Pangram kann diese Phrasen ebenfalls automatisch herausziehen, zusammen mit ihrer Häufigkeit. Es ist wichtig zu verstehen, dass keine dieser Phrasen für sich genommen ein Beweis dafür ist, dass der Text von einer KI generiert wurde, aber viele dieser Phrasen in Kombination sind ein sehr starker Hinweis, da es äußerst unwahrscheinlich ist, dass all diese Phrasen zufällig aufgetaucht sind.

Beispiel für eine KI-Phrasenhäufigkeitsanalyse

Über die Ebene einzelner Wörter und Phrasen hinaus können Sie auch nach übergeordneten Merkmalen des KI-Schreibens suchen.

Leitfaden zur Unterscheidung zwischen studentischen Arbeiten und KI-Texten

Dieser ausgezeichnete Leitfaden von Amanda Clarke zeigt einige der Unterschiede in Stil und Tonfall auf, die zwischen studentischen Texten und KI-generierten Texten bestehen. Zusammenfassend sind einige der wichtigsten Punkte:

• KI-Texte gehen nicht gerne auf konkrete Beweise ein, sondern bevorzugen vage Allgemeinplätze. Wenn sie dies doch tun, können sie diese Details halluzinieren. Direkte Reflexionen der Schüler über die Arbeit und konkrete Textzitate sind Merkmale von Schülertexten, die KI-Chatbots noch nicht nachahmen können.
• KI-Texte werden ein Thema nicht wirklich aus der Perspektive eines Schülers reflektieren.
• KI-Texte zeichnen sich durch eine durchgehend perfekte Grammatik und einen flüssigen, neutralen Stil aus.

Es ist auch erwähnenswert, dass es oft zu abrupten Veränderungen in Ton und Stil kommen kann, wenn authentische Texte von Schülern mit KI-generierten Texten vermischt werden.

2. Nachweis des Prozesses sammeln

Wenn eine Arbeit von einem Studenten verfasst wird, ist dies das Ergebnis eines Prozesses, der das Verfassen des Dokuments umfasst: Brainstorming, Gliederung, Entwurf, Überarbeitung und Korrekturlesen. Wenn eine Arbeit aus generativer KI plagiiert wird, wird sie oft einfach kopiert und eingefügt.

Eine einfache Möglichkeit, den Schreibprozess eines Schülers zu überprüfen, besteht darin, ihn einfach nach Artefakten zu fragen: Bitten Sie ihn um seine Notizen, seine Brainstormings und seine Entwürfe. Wenn es sich um einen endgültigen Entwurf handelt, bitten Sie ihn, Ihnen seinen Rohentwurf zu zeigen. Oft reicht dies aus, um den Schreibprozess nachzuweisen: Unschuldige Schüler haben keine Angst, ihn zu beweisen, und Schüler, die betrügen, können diese Artefakte oft einfach nicht vorlegen.

Es gibt auch Tools, mit denen Sie den Schreibprozess der Schüler überprüfen können. Draftback ist beispielsweise eine Chrome-Erweiterung, mit der Sie den Schreibverlauf der Schüler in Google Docs wiedergeben können. Wir kennen auch Brisk Teaching, Cursive Technologies und Visible AI. In Kombination mit Pangram können diese Tools sehr leistungsstark sein.

Beispiel für Draftback-Wiedergabedaten

In der obigen Draftback-Spur können Sie sehen, wo der Schüler seinen Text bearbeitet hat oder ob es einen großen Kopier- und Einfügevorgang gab.

Tools für den Schreibprozess allein sollten nicht als wasserdichter Beweis angesehen werden. Da Lehrer mittlerweile den Überarbeitungsverlauf überprüfen, um die akademische Integrität sicherzustellen, sind sich die Schüler der Tatsache bewusst, dass sie durch Kopieren und Einfügen angreifbar sind. Einige Schüler übertragen die ChatGPT-Ausgaben einfach in ihr Dokument und lassen es so aussehen, als hätten sie es selbst geschrieben.

Schlimmer noch, es gibt mittlerweile Software-Tools, die den Änderungsverlauf fälschen, wie beispielsweise diese Chrome-Erweiterung „Human Auto Typer“.

Beispiel für eine Chrome-Erweiterung namens „Human Auto Typer“

Beachten Sie, dass es zwar nützlich sein kann, den Schreibprozess und den Überarbeitungsverlauf eines Schülers zu überprüfen, es aber mittlerweile Möglichkeiten gibt, wie Schüler diese einfachen Kontrollen umgehen können.

3. Überprüfen Sie die Gültigkeit der Zitierung.

Generative KI erfindet häufig Zitate, zitiert Quellen falsch und macht andere Fehler bei der Zuordnung von Werken, die leicht zu erkennen sind. Wenn KI-Chatbots nicht wissen, welche Quellen eine von ihnen aufgestellte Behauptung untermauern, erfinden sie in den meisten Fällen einfach ein fiktives Zitat. Siehe das Beispiel von Claude unten.

Beispiel für Claude, der Zitate erfindet

Zitierfehler sind oft einige der überzeugendsten Beweise in KI-Fällen, da eine absichtliche Fälschung einer Forschungsquelle an sich schon einen Verstoß gegen die akademische Integrität darstellt. Oft kann man einfach einen Blick auf das Literaturverzeichnis oder die zitierten Werke werfen und überprüfen, ob die Einträge echte Arbeiten sind. Wenn man die erste Arbeit googelt und es sich nicht um eine echte Arbeit handelt, ist das ein unglaublich starker Beweis für einen Verstoß.

Auch hier ist Vorsicht geboten: Echte Zitate sind kein sicherer Hinweis darauf, dass der Student keine KI verwendet hat. Neue Tools wie Deep Research und Perplexity zitieren tatsächlich korrekte Quellen, und Chatbots werden immer besser darin, keine falschen Quellen anzugeben.

4. Überprüfen Sie, ob der Schüler sein eigenes Schreiben versteht.

Eine der einfachsten Methoden, um zu überprüfen, ob die Arbeit eines Schülers original oder gefälscht ist, besteht darin, ihm einfach Fragen zu seiner Arbeit zu stellen. Wenn das Schreibniveau der eingereichten Arbeit nicht dem Schreibniveau des Schülers entspricht, fragen Sie ihn nach den komplexesten Teilen der Arbeit. Bei jüngeren Schülern reicht es manchmal schon aus, sie nach der Bedeutung eines komplizierten Wortes zu fragen, das ChatGPT häufig verwendet, das Schüler dieses Niveaus jedoch nie verwenden (z. B. „axiomatisch“), damit sie zugeben, dass sie KI verwendet haben.

Auf Universitätsebene, wo von den Studierenden erwartet wird, dass sie neue, originelle Ideen entwickeln, können Sie ihnen Fragen dazu stellen, wie sie auf diese Idee gekommen sind. Oftmals führt dies zu einer Diskussion über den Schreibprozess, in der Sie Informationen darüber sammeln können, wie das Schreiben zustande gekommen ist, wie wir in Punkt 2 beschrieben haben.

Es ist wichtig, Empathie zu zeigen und einen sicheren Raum für Diskussionen zu schaffen. Eine Diskussion über akademische Integrität mit Studierenden kann sehr stressig sein, und die Studierenden können sich defensiv verhalten, wenn ihnen Beweise vorgelegt werden. Der beste Weg, das Gespräch mit den Studierenden zu gestalten, besteht darin, einfach zu einem sinnvollen Verständnis dessen zu gelangen, was passiert ist, damit Sie Ihr Bestes tun können, um den Studierenden zu helfen, in Zukunft erfolgreich zu sein. Geben Sie dem Studierenden die Möglichkeit, seine Fehler zu korrigieren und zu erklären, warum er auf KI zurückgreifen musste, anstatt die Aufgabe selbst zu erledigen. Wir empfehlen auch, offen dafür zu sein, dass die Verwendung von KI möglicherweise eher auf einem Missverständnis als auf einer vorsätzlichen Fehlhandlung beruhte. In einem unserer früheren Blogbeiträge haben wir ausführlicher darüber geschrieben, wie man solche Gespräche führt.

5. Vergleichen Sie die Arbeit mit früheren Beispielen des Schülers.

Insbesondere bei jüngeren oder sich noch entwickelnden Schülern liegt das Niveau der KI-Texte oft deutlich über dem Niveau, das man von einem Schüler erwarten würde.

Wir empfehlen, frühere Arbeiten eines Schülers heranzuziehen. Universitäten verfügen oft über zentrale Datenbanken, aus denen Aufsätze aus anderen Kursen abgerufen werden können. Wenn der Schüler neu bei Ihnen ist, können Sie gerne seinen früheren Lehrer um einige Schreibproben dieses Schülers bitten.

Ein plötzlicher Sprung im Schreibniveau von einem Schüler, der schlecht schreibt, zu einem Schüler, der mit perfekter Rechtschreibung und Grammatik schreibt, gibt Anlass zur Sorge.

6. Vergleichen Sie die Arbeit mit der Antwort von ChatGPT.

ChatGPT weist in seinen Ausgaben häufig keine großen Abweichungen auf. Wenn Sie dieselbe Eingabe zweimal in ChatGPT einfügen, gibt es nicht genau denselben Text zurück, aber oft weist er viele Ähnlichkeiten auf, die kaum zufällig sein können.

Beispiel für einen direkten Vergleich mit ChatGPT

Mit der Side-by-Side-Funktion von Pangram können Sie die Eingabe automatisch neben der ChatGPT-Eingabe sehen. Die Sätze sind zwar nicht identisch, aber wir markieren und verknüpfen Sätze, die sich in ihrer Bedeutung sehr ähneln.

Eine weitere Taktik besteht darin, mehrere Antworten von ChatGPT zu generieren und die Ähnlichkeit zu betrachten. Wenn die eingereichte Antwort nicht leicht aus der Menge herauszufiltern ist, handelt es sich wahrscheinlich ebenfalls um KI.

Es ist hilfreich, wenn Sie die Aufgabe kennen: Auf diese Weise können Sie die Aufgabe direkt als Eingabe für ChatGPT verwenden. Aber auch wenn Sie die Aufgabe nicht kennen, können Sie eine sinnvolle Eingabe formulieren. Versuchen Sie, eine Eingabe zu finden, die konkret genug ist, um einen Aufsatz wie den vor Ihnen liegenden zu erzeugen, aber nicht so konkret, dass er durch einfaches Kopieren identisch wird. Die Verwendung von ChatGPT selbst kann hierfür eine nützliche Ressource sein: Fügen Sie den Aufsatz in ChatGPT ein und fragen Sie, welche Hauptideen, Themen und Fragen in dem Aufsatz behandelt werden, und probieren Sie mehrere Eingaben aus, um zu sehen, welche semantisch ähnlichere Aufsätze erzeugt, damit Sie überprüfen können, ob sie stilistisch übereinstimmen.

7. Sammeln Sie weitere Meinungen.

Laut Russell et. al., einer Studie der University of Maryland, die wir bereits zuvor besprochen haben, können Experten mit einer Genauigkeit von 92,7 % feststellen, ob ein Text von einer KI generiert wurde oder nicht. Ein Gremium aus fünf Experten kann jedoch bei Betrachtung der Mehrheitsentscheidung nahezu perfekte Ergebnisse erzielen (bei den 300 Texten, die die Forscher untersuchten, lag die Genauigkeit der Mehrheit bei 100 %).

Wir empfehlen Ihnen, andere Mitarbeiter Ihrer Abteilung oder Schule darin zu schulen, wie man KI-generierte Texte mit bloßem Auge erkennt, damit Sie in schwierigen Fällen mehrere Meinungen einholen können. Wenn Sie die verschiedenen Anzeichen besprechen, auf die jeder einzelne Prüfer achtet, können Sie mehr Sicherheit bei der Beurteilung der Authentizität eines Textes gewinnen.

Darüber hinaus können Einzelpersonen, wie in allen rechtlich relevanten Fällen, bei ihrer Entscheidungsfindung unbewusst oder bewusst voreingenommen sein, und zwar aus Gründen, die außerhalb der Kontrolle des Studenten liegen. Die Einbeziehung eines Gremiums aus mehreren Personen bei der Entscheidung, ob ein Student gegen die akademische Integrität verstoßen hat oder nicht, kann Ihnen nicht nur helfen, genauer zu sein, sondern sollte letztendlich auch dazu beitragen, dass Ihr Verfahren fairer wird.

Die Bedeutung zusätzlicher Beweise in KI-Fällen

In diesem Blogbeitrag haben wir uns verschiedene Möglichkeiten angesehen, wie Sie über die Punktzahl hinausgehen und Pangram und andere Tools nutzen können, um Beweise für Ihren Fall zu sammeln, sei es für den Missbrauch von KI oder zum Schutz eines Schülers, der des KI-Betrugs beschuldigt wird und tatsächlich unschuldig ist.

Kein einzelner Beweis ist absolut zuverlässig, um den Ausgang des Falles zu bestimmen, aber je mehr Beweise Sie sammeln und zusammentragen können, desto fairer und vertretbarer kann Ihr Verfahren zur Wahrung der akademischen Integrität sein.