Wie funktioniert die KI-Erkennung?

Wichtige Erkenntnisse:

• LLMs weisen bestimmte Muster auf, anhand derer KI-Erkennungswerkzeuge feststellen können, ob etwas von Menschen oder von KI generiert wurde.
• Alte Detektoren basierten auf Burstiness und Perplexität, aber diese sind unzuverlässig. Neue Detektoren funktionieren viel besser und basieren auf größeren Datensätzen und aktivem Lernen.
• Bei der Auswahl eines Detektors sollten Nutzer entscheiden, welche Fehlerquoten bei falschen Positiven und falschen Negativen für sie akzeptabel sind. Außerdem sollten sie vor der Auswahl eines Tools festlegen, ob sie einen Plagiatsprüfer oder andere Funktionen benötigen.
• Menschen, die nicht in der Erkennung von KI geschult sind, sind darin nicht besonders gut. Diejenigen jedoch, die über Kenntnisse verfügen oder regelmäßig mit KI-generierten Texten in Berührung kommen, können KI-Inhalte besser identifizieren als Ungeschulte. Diese Erkennung kann in Kombination mit Software sehr gut funktionieren.

Was sind KI-Detektoren?

KI kann erkannt werden. Es handelt sich dabei nicht um schwarze Magie, sondern um etwas, das auf umfangreichen Forschungen basiert. In einer Zeit, in der KI-generierte Inhalte in Wissenschaft, Medien und Wirtschaft immer mehr Verbreitung finden, ist die Fähigkeit, zwischen von Menschen und von Maschinen verfassten Texten zu unterscheiden, eine wichtige Kompetenz. KI trifft sprachliche, stilistische und semantische Entscheidungen, die alle von einem geschulten Auge oder einer ausreichend guten automatisierten Erkennungssoftware erkannt werden können. Das liegt daran, dass wir verstehen, warum KI so spricht, wie sie spricht, und welche Muster wir nutzen können, um sie zu erkennen.

Wie funktionieren große Sprachmodelle?

Bevor wir darüber sprechen, wie KI-Erkennungssoftware funktioniert, ist es wichtig zu verstehen, dass Modelle künstlicher Intelligenz Wahrscheinlichkeitsverteilungen sind. Ein großes Sprachmodell (LLM) wie ChatGPT ist eine sehr, sehr komplizierte Version davon, die ständig das nächstwahrscheinlichste Wort oder „Token” in einer Sequenz vorhersagt. Diese Wahrscheinlichkeitsverteilungen werden aus einer riesigen Datenmenge gelernt, die oft einen erheblichen Teil des öffentlichen Internets umfasst.

Eine häufig gestellte Frage lautet: „Sind KI-Sprachmodelle der Durchschnitt aller menschlichen Texte?“ Die Antwort lautet eindeutig „Nein“. Sprachmodelle bilden nicht einfach den Durchschnitt aller menschlichen Äußerungen. Zum einen treffen Sprachmodelle sehr eigenwillige Entscheidungen. Zum anderen sind sie aufgrund der Trainingsdatensätze und der Vorurteile ihrer Entwickler sehr voreingenommen. Schließlich sind moderne LLMs darauf optimiert, Anweisungen zu befolgen und Dinge zu sagen, die Nutzer hören wollen, anstatt auf Korrektheit oder Genauigkeit zu achten – eine Eigenschaft, die sie zu nützlichen Helfern, aber zu unzuverlässigen Quellen der Wahrheit macht.

Dies ist das Ergebnis des modernen LLM-Ausbildungsverfahrens, das drei Stufen umfasst:

• Vortraining: In dieser Trainingsphase lernt das Modell die statistischen Muster der Sprache. In diesen Mustern zeigen sich Verzerrungen aus den Trainingsdaten. Beispielsweise sind Daten, die häufig im Internet vorkommen, wie Wikipedia, überrepräsentiert, weshalb KI-generierte Texte oft einen formellen, enzyklopädischen Ton haben. Darüber hinaus werden billige, ausgelagerte Arbeitskräfte für die Erstellung von Trainingsdaten eingesetzt, wodurch Wörter wie „delve”, „tapestry” und „intricate” in KI-generierten Texten extrem häufig vorkommen und eher die sprachlichen Normen der Datenersteller als die der Endnutzer widerspiegeln.
• Anweisungsoptimierung: In dieser Phase lernt das Modell, Anweisungen zu befolgen und Befehlen zu gehorchen. Die Folge davon ist, dass das Modell lernt, dass es besser ist, Anweisungen zu befolgen, als genaue, korrekte Informationen zu liefern. Dies führt zu einem unterwürfigen oder „menschenfreundlichen” Verhalten, bei dem die KI der Generierung einer hilfreichen und angenehm klingenden Antwort Vorrang einräumt, selbst wenn sie dafür Fakten erfinden oder „halluzinieren” muss. Für sie ist es wichtiger, Menschen zu gefallen, als die richtigen Informationen zu liefern.
• Ausrichtung: In dieser Phase lernt das Modell, wie man sagt, was Menschen mögen und bevorzugen. Es lernt, was „gute” und „schlechte” Aussagen sind. Diese Präferenzdaten können jedoch extrem voreingenommen sein und oft neutrale, sichere und harmlose Antworten bevorzugen. Dieser Prozess kann dem Modell seine eigene Stimme nehmen, sodass es Kontroversen oder starke Meinungen vermeidet. Das LLM hat keine grundlegende Verankerung in Wahrheit oder Korrektheit.

Generative KI-Modelle sind Produkte, die von Technologieunternehmen veröffentlicht werden und absichtlich Vorurteile und Verhaltensweisen einfließen lassen, die sich in ihren Ergebnissen widerspiegeln.

Was sind die Muster in der KI-Sprache?

Sobald Sie verstehen, wie LLMs trainiert werden, können Sie die „Verräterzeichen” von KI-Schreibtools erkennen. Oft ist es nicht ein einzelnes eindeutiges Indiz, sondern eine Kombination all dieser Wörter, die den Detektor auslöst.

Sprache und Stil

• Wortwahl: KI-Content-Autoren haben Lieblingswörter wie „Aspekt“, „Herausforderungen“, „vertiefen“, „verbessern“, „Wandteppich“, „Testament“, „authentisch“, „umfassend“, „entscheidend“, „bedeutend“, „transformativ“ und Adverbien wie „zusätzlich“ und „darüber hinaus“. Dies ist auf Verzerrungen in den Datensätzen der Vorausbildung zurückzuführen. Die häufige Verwendung dieser Wörter kann zu einem übermäßig formellen oder pompösen Ton führen, der im Kontext eines typischen Schüleraufsatzes oder einer informellen Kommunikation oft unpassend wirkt.
• Phrasierungsmuster: KI-Texte verwenden Phrasierungsmuster wie „as we [Verb] the topic“, „it's important to note“, „not only but also“, „paving the way“ und „when it comes to“. Diese Ausdrücke sind zwar grammatikalisch korrekt, werden jedoch häufig als Füllwörter in Gesprächen verwendet und können dazu führen, dass sich der Text generisch und formelhaft anfühlt.
• Rechtschreibung und Grammatik: KI-Texte weisen in der Regel eine perfekte Rechtschreibung und Grammatik auf und enthalten häufig komplexe Sätze. Menschliche Texte bestehen aus einer Mischung aus einfachen und komplexen Sätzen, und selbst erfahrene Autoren verwenden aus stilistischen Gründen manchmal grammatikalische Strukturen, die nicht „völlig korrekt“ sind, beispielsweise Satzfragmente zur Hervorhebung.

Struktur und Organisation

• Absätze und Satzstruktur: KI-Texte verwenden in der Regel sehr strukturierte Absätze, die alle etwa gleich lang sind, sowie listenartige Strukturen. Dies kann zu einem monotonen Rhythmus führen, dem die natürliche Variation menschlicher Texte fehlt. Dies kann auch für die Satzlänge gelten.
• Einleitung und Schlussfolgerung: KI-generierte Aufsätze haben in der Regel eine sehr ordentliche Einleitung und Schlussfolgerung, wobei die Schlussfolgerung oft sehr lang ist, mit „Insgesamt“ oder „Zusammenfassend“ beginnt und das meiste von dem wiederholt, was bereits geschrieben wurde, wobei im Wesentlichen die These und die Hauptpunkte umformuliert werden, ohne neue Erkenntnisse oder Synthesen hinzuzufügen.

Zweck und Persönlichkeit

• Zweck und Absicht: Die Texte sind in der Regel sehr vage und voller Allgemeinplätze. Dies geschieht, weil die Anweisungsoptimierung der Einhaltung der Vorgaben übermäßige Priorität einräumt. Um beim Thema zu bleiben, lernt das Modell, dass es am besten ist, wirklich vage und allgemein zu bleiben, um das Risiko von Fehlern zu minimieren.
• Reflexion und Metakognition: KI ist sehr schlecht darin, zu reflektieren und das Geschriebene mit persönlichen Erfahrungen in Verbindung zu bringen ... weil sie keine persönlichen Erfahrungen hat, auf die sie zurückgreifen kann! Menschliches Schreiben kann die einzigartige Stimme und persönliche Erfahrung seines Autors widerspiegeln, Verbindungen herstellen und neue Ideen hervorbringen, die nicht einfach nur eine Neuauflage bereits vorhandener Informationen sind.
• Abrupte Stil- und Tonwechsel: Manchmal kommt es zu sehr störenden und abrupten Ton- und Stilwechseln. Dies geschieht, wenn ein Schüler KI für einen Teil seines Textes verwendet, aber nicht für den gesamten Text, wodurch ein inkonsistentes und unzusammenhängendes Endergebnis entsteht.

So funktioniert die KI-Erkennung: Drei Schritte

• Trainieren Sie das KI-Erkennungsmodell: Zunächst wird das Modell trainiert. Frühe KI-Erkennungsprogramme funktionierten nicht sehr gut, da sie versuchten, Textabschnitte mit hoher Perplexität oder hoher Burstiness zu erkennen. Perplexität beschreibt, wie unerwartet oder überraschend jedes Wort in einem Text für ein großes Sprachmodell ist. Burstiness ist die Veränderung der Perplexität im Verlauf eines Dokuments. Dieser Ansatz hat jedoch mehrere Mängel und erkennt KI-Ausgaben oft nicht. Außerdem wird nur ein begrenzter Datensatz von Texten zum Trainieren verwendet. Moderne und erfolgreiche Modelle wie Pangram verwenden einen größeren Datensatz und setzen Techniken wie aktives Lernen ein, um genauere Ergebnisse zu erzielen.
• Geben Sie den zu klassifizierenden Text ein und tokenisieren Sie ihn: Ein Benutzer gibt die Eingabe ein. Wenn ein Klassifikator einen Eingabetext erhält, tokenisiert er ihn. Das bedeutet, dass er den gesamten Text in eine Reihe von Zahlen zerlegt, die das Modell verstehen kann. Das Modell wandelt dann jedes Token in eine Einbettung um, d. h. einen Vektor aus Zahlen, der die Bedeutung jedes Tokens repräsentiert.
• Klassifizieren Sie das Token als Mensch oder KI: Die Eingabe wird durch das neuronale Netzwerk geleitet und erzeugt eine Ausgabe-Einbettung. Ein Klassifikator-Kopf wandelt die Ausgabe-Einbettung in eine 0- oder 1-Vorhersage um, wobei 0 das Mensch-Label und 1 das KI-Label ist.

Was ist mit falsch positiven und falsch negativen Ergebnissen?

Der Wert eines KI-Erkennungswerkzeugs wird daran gemessen, wie viele Fehlalarme (FPRs) und Falsch-Negativ-Ergebnisse (NPRs) bei der Verwendung des Werkzeugs auftreten . Ein Fehlalarm liegt vor, wenn ein Detektor fälschlicherweise einen von Menschen verfassten Text als KI-generiert einstuft. Im Gegensatz dazu liegt ein Falsch-Negativ-Ergebnis vor, wenn ein KI-generierter Text fälschlicherweise als von Menschen verfasst eingestuft wird.

Menschliche vs. automatisierte Erkennung

Wenn Sie sich dafür entscheiden, KI nur mit dem Auge zu erkennen, müssen Sie dafür geschult sein. Nicht-Experten können nicht mehr als zufällige Vermutungen anstellen. Selbst fortgeschrittene Linguisten können KI ohne ausdrückliche Schulung nicht erkennen. Wir empfehlen, beide Methoden zu verwenden, um die besten Ergebnisse zu erzielen und einen robusteren und faireren Bewertungsprozess zu schaffen.

KI-Inhaltsdetektoren können Ihnen zwar sagen, ob etwas mit KI-Tools erstellt wurde oder nicht. Menschen können Ihnen jedoch nicht nur sagen, ob etwas mit KI erstellt wurde oder nicht, sondern sie können dieser Entscheidung auch zusätzlichen Kontext und Nuancen hinzufügen. Ein Mensch kennt den Kontext: frühere Schreibproben von Schülern, wie das Schreiben auf Klassenstufe aussieht und wie eine typische Antwort eines Schülers auf eine Aufgabe aussieht. Dieser Kontext ist entscheidend, da die Angemessenheit des KI-Einsatzes je nach den Anweisungen der Aufgabe stark variieren kann.

KI-Erkennungswerkzeuge sind nur der Anfang. Sie liefern keinen schlüssigen Beweis dafür, dass ein Student gegen die akademische Integrität verstoßen hat, sondern sind vielmehr ein erster Anhaltspunkt, der eine weitere, kontextbezogene Untersuchung rechtfertigt. Der Einsatz von KI kann unbeabsichtigt, zufällig oder sogar im Rahmen Ihrer speziellen Aufgabe zulässig sein: Es kommt darauf an!

Bonus: Was ist mit Humanisatoren?!

Humanizer sind Tools, die dazu dienen, KI-Inhalte zu „humanisieren“, um eine KI-Erkennung zu vermeiden. Content-Autoren verwenden sie häufig, um das Erscheinungsbild von KI-Texten zu verändern. Humanizer paraphrasieren Texte, entfernen bestimmte Wörter und fügen menschenähnliche „Fehler“ zu einem Inhalt hinzu. Manchmal macht dies den Text praktisch unlesbar oder mindert die Qualität erheblich. Viele KI-Detektoren trainieren ihre Software darauf, humanisierte Texte zu erkennen. Die Verwendung eines Humanizers ist oft mit einem Risiko verbunden, da er die Qualität des Textes drastisch mindern kann, was insbesondere bei studentischen Arbeiten problematisch ist.

Jetzt, da Sie wissen, wie sie funktionieren, probieren Sie es mit Ihren eigenen Inhalten aus. Ist es KI oder Mensch?