Was passiert, wenn ein KI-Detektor einen Fehler macht?

Da künstliche Intelligenz immer weiter verbreitet ist, möchten Lehrer erkennen können, ob Schüler KI nutzen, um ihre Hausarbeiten für sie zu schreiben. Ein KI-Detektor für Lehrer scheint die naheliegende Lösung zu sein, doch viele zögern noch. Was passiert, wenn die Software einen Fehler macht?

Diese Sorge ist durchaus berechtigt. Bislang waren KI-Detektoren recht unzuverlässig. Zahlreiche Studien haben gezeigt, dass diese Tools oft nicht erkennen, wenn ein Text von einer KI verfasst wurde, und dass ein entschlossener Betrüger sie durch kleine Umformulierungen oder Rechtschreibfehler austricksen kann. Diese „falschen Negativbefunde“ sind schon problematisch genug, da sie es ermöglichen, dass manche computergenerierten Texte unentdeckt durchrutschen.

Noch besorgniserregender ist jedoch die hohe Fehlalarmquote der Früherkennungssysteme. Diese treten auf, wenn ein Text, der tatsächlich von einem Menschen verfasst wurde, als KI-Text markiert wird. Dies führt zu Stress und ungerechtfertigten Disziplinarmaßnahmen für Schüler, die nichts falsch gemacht haben, zu unnötiger Überwachung durch Lehrkräfte und zu einem Vertrauensverlust in der Schule.

Das Problem ist besonders gravierend bei Studierenden, deren Muttersprache nicht Englisch ist. Mehrere KI-Erkennungsprogramme zeigen eine Voreingenommenheit gegenüber Nicht-Muttersprachlern. Eine Studie der Stanford University aus dem Jahr 2023 ergab, dass mehrere Erkennungsprogramme einstimmig (und fälschlicherweise) jeden fünften Aufsatz, der von einem Nicht-Muttersprachler verfasst wurde, als KI-generiert identifizierten. Fast alle dieser Aufsätze wurden von mindestens einem der Erkennungsprogramme fälschlicherweise als verdächtig markiert.

Wie oft machen KI-Detektoren Fehler?

Die meisten gängigen KI-Detektoren räumen ein, dass ihnen solche Fehler relativ häufig unterlaufen. TurnItIn beispielsweise gibt eine Falsch-Positiv-Rate von etwa 1 zu 200 an, was bedeutet, dass von 200 Arbeiten, die ein Lehrer durch das Programm laufen lässt, die Originalarbeit eines Schülers fälschlicherweise als KI-generiert markiert wird. Andere Tools geben Falsch-Positiv-Raten zwischen 1 zu 500 und 1 zu 100 an, während unabhängige Studien ergeben haben, dass die Zahlen sogar noch höher liegen können.

Die Falsch-Positiv-Rate von Pangram liegt hingegen bei nur 1 zu 10.000, gemessen anhand von Tests mit mehreren zehn Millionen Dokumenten. Unser Modell ist besonders zuverlässig bei Texten mit mehr als ein paar hundert Wörtern, die in vollständigen Sätzen verfasst sind – genau die Art von Texten, die Studierende üblicherweise für größere Hausarbeiten einreichen.

Wie können Lehrer feststellen, ob ein KI-Detektor einen Schülertext fälschlicherweise als Plagiat markiert hat?

Wenn ein KI-Detektor einen Text als KI-generiert markiert, hat eine Lehrkraft mehrere Möglichkeiten, das Ergebnis zu überprüfen. Zunächst sollte sie den Schüler oder die Schülerin einfach nach der Verwendung von KI fragen und dabei bescheiden an das Gespräch herangehen. Falls das Ergebnis tatsächlich ein Fehler war, kann der Schüler oder die Schülerin möglicherweise Belege für seinen oder ihren Schreibprozess vorlegen, wie zum Beispiel einen detaillierten Änderungsverlauf in Google Docs oder Kopien früherer Entwürfe. In diesem Fall können Lehrkräfte anerkennen, dass sie wahrscheinlich einen äußerst seltenen Fehlalarm entdeckt haben. Der Schüler sollte zudem in der Lage sein, seinen Schreibprozess detailliert zu erläutern. Dieses Gespräch könnte ein tiefes Verständnis der eingereichten Arbeit offenbaren, was darauf hindeuten würde, dass der Schüler sie tatsächlich selbst verfasst hat. Andererseits könnte es auch zeigen, dass der Schüler KI auf eine Weise genutzt hat, von der er nicht wusste, dass sie falsch ist, was die Ergebnisse des Detektors bestätigen würde.

Wenn der Schüler weiterhin darauf besteht, dass er keine KI verwendet hat, aber keinen Beweis dafür vorlegen oder seine Arbeit nicht auf eine Weise erläutern kann, die Sinn ergibt, ist es dennoch in Ordnung, ihm im Zweifelsfall zu glauben. Schließlich wäre es äußerst schädlich, wenn er für etwas bestraft würde, das er nicht getan hat. In diesem Fall können Lehrkräfte die Schüler anweisen, künftig Aufzeichnungen über ihren Schreibprozess zu führen, was dazu beiträgt, weitere Missverständnisse auszuräumen. Wenn der Schüler wissentlich über die Nutzung von KI lügt, wird er es sich in Zukunft wahrscheinlich zweimal überlegen, bevor er dies tut. Wenn seine Arbeit jedoch weiterhin von einem präzisen KI-Detektor wie Pangram markiert wird, ist es wahrscheinlich an der Zeit, die Situation zu eskalieren. Die Wahrscheinlichkeit eines einzelnen Fehlers ist bereits gering; die Wahrscheinlichkeit mehrerer Fehler ist verschwindend gering.