Der Stand der akademischen Integrität und der KI-Erkennung im Jahr 2025

Bradley Emi, CTO von Pangram Labs, hielt auf der ICAI-Konferenz einen Vortrag über den aktuellen Stand der KI-Erkennung.

Studierende nutzen ChatGPT sowohl sinnvoll als auch missbräuchlich. Die meisten Studierenden setzen KI-Tools regelmäßig ein und glauben, dass sich ihre Leistungen dadurch verbessern werden. Selbst bei klaren Richtlinien gegen den Einsatz von KI werden die Studierenden diese Tools wahrscheinlich weiterhin nutzen.

Entgegen der landläufigen Meinung: KI lässt sich erkennen. Die Sprache, der Stil und die semantischen Entscheidungen können sowohl von Menschen als auch von automatisierter Software (mit ausreichendem Training) erkannt werden.

Warum klingt KI so?

LLMs sind Wahrscheinlichkeitsverteilungen, die anhand großer Datenmengen lernen. Sie sind NICHT der Durchschnitt aller von Menschen verfassten Texte. Dies liegt an der Art und Weise, wie die Modelle trainiert werden.

Modelle werden in drei Phasen trainiert: Vortraining, Feinabstimmung und Angleichung.

In der Vortrainingsphase analysiert das Modell statistische Muster aus einem großen Datensatz. Der Trainingsdatensatz enthält Verzerrungen, die sich in den statistischen Mustern widerspiegeln. So sind beispielsweise Daten, die im Internet häufig vorkommen, überrepräsentiert. In einem Artikel im Guardian erklärt Alex Hern, wie Arbeiter in Kenia und Nigeria ausgebeutet wurden, um Trainingsdaten für OpenAI bereitzustellen. Die Wörter, die diese Arbeiter häufig verwendeten, wie „delve“ und „tapestry“, sind dieselben Wörter, die häufig in KI-generierten Texten vorkommen.

Beim „Instruction Tuning“ wird das Modell darauf trainiert, auf Eingabeaufforderungen zu reagieren. Das Modell lernt, dass es besser ist, Anweisungen zu befolgen, als genaue und korrekte Informationen zu liefern. Selbst wenn Sicherheitsfilter implementiert sind, leidet das KI-Schreiben nach wie vor unter Fehlinformationen, da es versucht, den Nutzer zufrieden zu stellen.

Während des Alignments lernt das Modell den Unterschied zwischen guten und schlechten Antworten auf Prompts. Präferenzdaten können extrem verzerrt sein, da sie auf den Ansichten des Trainers beruhen und nicht unbedingt auf Fakten.

Wir haben eine Auswahl der häufigsten Wörter und Ausdrücke zusammengestellt, die beim KI-basierten Schreiben verwendet werden. Diese stammen aus Verzerrungen, die bereits in der Vortrainingsphase entstanden sind.

KI ist bekannt für ihre stark strukturierte Sprache und Formatierung. Übergangsformulierungen, Aufzählungen und ein übersichtlicher Schreibstil sind in KI-Texten aufgrund der Ausrichtungsphase weit verbreitet.

KI-Texte sind oft formell, da formelle Texte im Internet überrepräsentiert sind und somit auch in den Trainingsdatensätzen der KI überrepräsentiert sind. Positivität und Hilfsbereitschaft werden während der Alignment-Phase verstärkt.

Hinweis: Pangram sagt den Einsatz von KI nicht allein aufgrund der Tatsache voraus, dass ein Text gängige KI-Begriffe und -Formatierungen enthält.

Humanisten in der Wissenschaft

Wir haben 19 verschiedene Humanizer-Tools untersucht und ein eigenes entwickelt. Dabei haben wir festgestellt, dass KI-Humanizer den ursprünglichen Sinn in unterschiedlichem Maße beibehalten (von geringfügigen Änderungen bis hin zu unverständlichem Text). Einige Humanizer leisten gute Arbeit beim Umformulieren, können sich jedoch nicht der Erkennung entziehen. Je flüssiger der humanisierte Text ist, desto unwahrscheinlicher ist es, dass er der Erkennung entgeht. Humanizer sind in der Lage, Googles SynthID-Wasserzeichen (das zur Kennzeichnung von durch Gemini generiertem Text verwendet wird) zu entfernen.

Automatisierte und manuelle KI-Erkennung

Die erste Generation von KI-Erkennungswerkzeugen und deren Mängel haben die öffentliche Meinung zum Thema KI-Erkennung geprägt. Diese Werkzeuge stützten sich eher auf Korrelationen mit der KI-Nutzung als auf kausale Signale. Sie gaben eine Genauigkeit von 99 % an, was für den akademischen Gebrauch ungeeignet ist.

Diese neue Generation von Erkennungswerkzeugen zeichnet sich durch eine Genauigkeit von über 99,9 % und eine sehr niedrige Falsch-Positiv-Rate (FPR) aus! Außerdem sind sie robust gegenüber Paraphrasier- und Humanisierungs-Tools.

Allerdings sind KI-Detektoren nicht alle gleich! Aufgrund der unterschiedlichen Trainingsmethoden weisen sie ein unterschiedliches Maß an Genauigkeit auf.

Pangram, TurnItIn und Ghostbusters nutzen lernbasierte Erkennung. Bei der lernbasierten Erkennung wird das Modell trainiert, indem es anhand einer großen Stichprobe lernt, was KI-generiert ist und was nicht. Während die

Menschliche Experten, die Erfahrung im Einsatz von LLMs für Schreibaufgaben haben, können KI-Texte mit einer Genauigkeit von 92 % erkennen. Linguisten konnten ohne Erfahrung im Umgang mit Tools wie ChatGPT nicht das gleiche Maß an Genauigkeit erreichen. Menschliche Prüfer sind in der Lage, zu begründen, warum sie sich bei einem Text für eine bestimmte Vorhersage entschieden haben. Pangram weist zwar eine höhere Genauigkeit und eine geringere Falsch-Positiv-Rate auf, ist jedoch nicht in der Lage, den Text in einen Kontext zu setzen.

Schaffung eines fairen Verfahrens zur Wahrung der akademischen Integrität im Bereich der KI

Bei der Erstellung von Richtlinien oder Standards zum Einsatz von KI muss die Kommunikation klar sein. KI kann zum Verfassen von Gliederungen, zur Ideenfindung, zur Korrektur von Grammatikfehlern, zur Recherche, zum Verfassen von Entwürfen oder für umfangreiche Schreibaufgaben genutzt werden. Es müssen Richtlinien festgelegt werden, inwieweit der Einsatz von KI zulässig ist und inwieweit nicht. Als Anregung können Sie sich im Verzeichnis von Gradpilot mit über 170 Hochschulen die tatsächlichen KI-Richtlinien verschiedener Universitäten ansehen.

Schüler und Lehrer müssen verstehen, wie sich gängige Tools durch KI weiterentwickeln. Die Funktion „Hilf mir beim Schreiben“ in Google Docs bezieht ihre Ergebnisse von Gemini. Grammarly bietet derzeit Funktionen zur KI-gestützten Texterstellung und Umformulierung. Übersetzungstools nutzen möglicherweise große Sprachmodelle (LLMs) für ihre Arbeit. Auch das Übernehmen von Abschnitten aus KI-generierten Forschungsarbeiten oder Brainstorming-Ergebnissen löst eine Erkennung aus.

Wir empfehlen, sowohl menschliches Urteilsvermögen als auch automatisierte Erkennung einzusetzen. Es ist gegenüber den Studierenden äußerst unfair, ihre Arbeiten ausschließlich anhand einer KI-Erkennung zu bewerten, da die Falsch-Positiv-Rate bei 0,01 % liegt. Nach Erhalt einer positiven Prognose sollten als nächste Schritte der Schreibprozess des Studierenden bewertet und der betreffende Text mit früheren Arbeiten verglichen werden. Achten Sie darauf, den Detektor mit einigen Texten zu testen und die Ergebnisse zu berücksichtigen, die Sie möglicherweise erhalten, wenn Sie für die Aufgabe ein LLM einsetzen.

Sollte sich zunehmend abzeichnen, dass ein Schüler eine von einer KI verfasste Hausarbeit eingereicht hat, kann dies eine Gelegenheit sein, daraus zu lernen. Es ist wichtig, die Schüler mit Respekt zu behandeln und übermäßige Strafen zu vermeiden. Den Schülern kann es helfen, die Hausarbeit nachzuholen und ein Gespräch darüber zu führen, was zum Einsatz der KI geführt hat.

Weitere Informationen zu diesem Artikel finden Sie im vollständigen Webinar: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.