Wie funktioniert die KI-Erkennung?

Das Wichtigste in Kürze:

1. Großsprachmodelle weisen bestimmte Muster auf, anhand derer verschiedene KI-Erkennungswerkzeuge feststellen können, ob es sich um einen von Menschen oder von einer KI generierten Text handelt.
2. Ältere Detektoren stützten sich auf Burstiness und Perplexity, doch diese sind unzuverlässig. Neue Detektoren funktionieren wesentlich besser und stützen sich auf größere Datensätze und aktives Lernen.
3. Bei der Auswahl eines Detektors sollten Nutzer festlegen, welche Quoten an Fehlalarmen und Fehlnegativen für sie akzeptabel sind. Außerdem sollten sie vor der Auswahl eines Tools klären, ob sie eine Plagiatsprüfung oder andere Funktionen benötigen.
4. Menschen, die nicht im Erkennen von KI-generierten Texten geschult wurden, sind darin nicht besonders gut. Diejenigen jedoch, die eine entsprechende Schulung absolviert haben oder regelmäßig mit KI-generierten Texten in Berührung kommen, können solche Inhalte besser identifizieren als ungeschulte Personen. Diese Erkennung kann in Kombination mit Software sehr gut funktionieren.

Was sind KI-Detektoren?

KI lässt sich erkennen. Das ist keine schwarze Magie, sondern das Ergebnis umfangreicher Forschung. In einer Zeit, in der KI-generierte Inhalte in Wissenschaft, Medien und Wirtschaft immer häufiger vorkommen, ist die Fähigkeit, zwischen von Menschen und von Maschinen verfassten Texten zu unterscheiden, eine entscheidende Kompetenz. KI trifft sprachliche, stilistische und semantische Entscheidungen, die alle von einem geschulten Auge oder einer ausreichend guten automatisierten Erkennungssoftware erkannt werden können. Das liegt daran, dass wir verstehen können, warum KI so spricht, wie sie es tut, und welche Muster wir nutzen können, um sie zu erkennen.

Wie funktionieren große Sprachmodelle?

Bevor wir darauf eingehen, wie KI-Erkennungssoftware funktioniert, ist es wichtig zu verstehen, dass Modelle künstlicher Intelligenz Wahrscheinlichkeitsverteilungen sind. Ein großes Sprachmodell (LLM) wie ChatGPT ist eine sehr, sehr komplexe Variante davon, die ständig das nächstwahrscheinlichste Wort oder „Token“ in einer Sequenz vorhersagt. Diese Wahrscheinlichkeitsverteilungen werden aus einer riesigen Datenmenge gelernt, die oft einen erheblichen Teil des öffentlichen Internets umfasst.

Eine häufig gestellte Frage lautet: „Sind KI-Sprachmodelle der Durchschnitt aller menschlichen Texte?“ Die Antwort lautet eindeutig nein. Sprachmodelle bilden nicht einfach den Durchschnitt dessen, was alle Menschen sagen. Zum einen treffen Sprachmodelle sehr eigenwillige Entscheidungen. Außerdem sind sie aufgrund der Trainingsdatensätze und der Vorurteile ihrer Entwickler stark voreingenommen. Schließlich sind moderne LLMs darauf optimiert, Anweisungen zu befolgen und Dinge zu sagen, die Nutzer hören wollen, anstatt auf Korrektheit oder Genauigkeit zu achten – eine Eigenschaft, die sie zu nützlichen Assistenten, aber zu unzuverlässigen Quellen der Wahrheit macht.

Dies ist das Ergebnis des modernen Trainingsverfahrens für große Sprachmodelle (LLM), das drei Phasen umfasst:

1. Vortraining: In dieser Trainingsphase lernt das Modell die statistischen Muster der Sprache kennen. In diesen Mustern spiegeln sich Verzerrungen aus den Trainingsdaten wider. Beispielsweise sind Daten, die im Internet häufig vorkommen, wie etwa bei Wikipedia, überrepräsentiert, weshalb KI-generierte Texte oft einen formellen, enzyklopädischen Ton haben. Zudem werden für die Erstellung der Trainingsdaten billige, ausgelagerte Arbeitskräfte eingesetzt, wodurch Wörter wie „delve“, „tapestry“ und „intricate“ in KI-generierten Texten extrem häufig vorkommen und eher die sprachlichen Normen der Datenersteller als die der Endnutzer widerspiegeln.
2. Anweisungsoptimierung: In dieser Phase lernt das Modell, Anweisungen zu befolgen und Befehle auszuführen. Die Folge ist, dass das Modell lernt, dass es besser ist, Anweisungen zu befolgen, als genaue, korrekte Informationen zu liefern. Dies führt zu einem unterwürfigen oder „gefalltsuchenden“ Verhalten, bei dem die KI der Generierung einer hilfreichen und wohlklingenden Antwort Vorrang einräumt, selbst wenn sie dafür Fakten erfinden oder „halluzinieren“ muss. Für sie ist es wichtiger, den Menschen zu gefallen, als die Informationen richtig wiederzugeben.
3. Ausrichtung: In dieser Phase lernt das Modell, wie man Dinge sagt, die den Menschen gefallen und die sie bevorzugen. Es lernt, welche Äußerungen als „gut“ und welche als „schlecht“ gelten. Diese Präferenzdaten können jedoch extrem verzerrt sein und begünstigen oft neutrale, harmlose und unanstößige Antworten. Dieser Prozess kann dem Modell seine eigene Stimme nehmen, was dazu führt, dass es Kontroversen oder klare Meinungen vermeidet. Dem LLM fehlt jegliche Verankerung in Wahrheit oder Richtigkeit.

Generative KI-Modelle sind von Technologieunternehmen veröffentlichte Produkte, in die bewusst Vorurteile und Verhaltensweisen eingebaut werden, die sich in ihren Ergebnissen widerspiegeln.

Welche Muster gibt es in der KI-Sprache?

Sobald man versteht, wie große Sprachmodelle trainiert werden, kann man die „Verratzeichen“ von KI-Schreibtools erkennen. Oft ist es nicht ein einzelnes eindeutiges Indiz, sondern eine Kombination all dieser Wörter, die die Detektoren auslöst.

Sprache und Stil

• Wortwahl: KI-Textgeneratoren haben bestimmte Lieblingswörter, darunter: Aspekt, Herausforderungen, vertiefen, verbessern, Mosaik, Zeugnis, authentisch, umfassend, entscheidend, bedeutsam, transformativ sowie Adverbien wie „zusätzlich“ und „darüber hinaus“. Dies ist auf Verzerrungen in den Datensätzen zurückzuführen, mit denen die Modelle vortrainiert wurden. Die häufige Verwendung dieser Wörter kann einen übermäßig formellen oder hochgestochenen Ton erzeugen, der im Kontext eines typischen Schüleraufsatzes oder einer informellen Kommunikation oft deplatziert wirkt.
• Formulierungsmuster: KI-Texte verwenden Formulierungsmuster wie „wenn wir [Verb] das Thema“, „es ist wichtig zu beachten“, „nicht nur, sondern auch“, „den Weg ebnen“ und „wenn es um … geht“. Diese Formulierungen sind zwar grammatikalisch korrekt, werden jedoch oft als Füllwörter im Gespräch verwendet und können dazu führen, dass sich der Text generisch und formelhaft anfühlt.
• Rechtschreibung und Grammatik: KI-Texte zeichnen sich in der Regel durch einwandfreie Rechtschreibung und Grammatik aus und neigen dazu, komplexe Sätze zu verwenden. Menschliche Texte bestehen aus einer Mischung aus einfachen und komplexen Sätzen, und selbst erfahrene Autoren verwenden aus stilistischen Gründen manchmal grammatikalische Konstruktionen, die nicht „nach Lehrbuch“ perfekt sind, wie zum Beispiel Satzfragmente zur Hervorhebung.

Struktur und Organisation

• Absätze und Satzbau: KI-Texte zeichnen sich in der Regel durch sehr strukturierte Absätze aus, die alle etwa gleich lang sind, sowie durch listenartige Strukturen. Dies kann zu einem monotonen Rhythmus führen, dem die natürliche Vielfalt menschlicher Texte fehlt. Dies gilt auch für die Satzlänge.
• Einleitung und Schlussfolgerung: Von KI generierte Aufsätze weisen in der Regel eine sehr ordentliche Einleitung und Schlussfolgerung auf, wobei die Schlussfolgerung oft sehr lang ist, mit „Insgesamt“ oder „Zusammenfassend“ beginnt und das meiste von dem wiederholt, was bereits geschrieben wurde – im Wesentlichen werden die These und die Hauptargumente umformuliert, ohne neue Erkenntnisse oder eine Synthese beizusteuern.

Zweck und Persönlichkeit

• Zweck und Absicht: Die Texte sind in der Regel sehr vage und voller Allgemeinplätze. Dies liegt daran, dass bei der Feinabstimmung der Anweisungen der strikten Einhaltung der Vorgaben zu viel Gewicht beigemessen wird; um beim Thema zu bleiben, lernt das Modell, dass es am besten ist, sich sehr vage und allgemein auszudrücken, um das Risiko von Fehlern zu minimieren.
• Reflexion und Metakognition: KI ist sehr schlecht darin, zu reflektieren und das Geschriebene mit persönlichen Erfahrungen in Verbindung zu bringen … denn sie verfügt über keine persönlichen Erfahrungen, auf die sie zurückgreifen könnte! Menschliches Schreiben kann die einzigartige Stimme und die persönlichen Erfahrungen seines Autors widerspiegeln, Verbindungen herstellen und neue Ideen hervorbringen, die nicht bloß eine Neuauflage bestehender Informationen sind.
• Plötzliche Wechsel in Stil und Tonfall: Manchmal kommt es zu einem sehr störenden und abrupten Wechsel in Stil und Tonfall. Dies geschieht, wenn ein Schüler für einen Teil seiner Texte KI nutzt, jedoch nicht für den gesamten Text, was zu einem uneinheitlichen und unzusammenhängenden Endergebnis führt.

So funktioniert die KI-Erkennung: Drei Schritte

1. Das KI-Erkennungsmodell trainieren: Zunächst wird das Modell trainiert. Frühe KI-Detektoren funktionierten nicht besonders gut, da sie versuchten, Textabschnitte mit hoher Perplexität oder hoher Burstiness zu erkennen. Perplexität beschreibt, wie unerwartet oder überraschend jedes Wort in einem Textabschnitt für ein großes Sprachmodell ist. Burstiness ist die Veränderung der Perplexität im Verlauf eines Dokuments. Dieser Ansatz weist jedoch mehrere Mängel auf und versagt oft bei der Erkennung von KI-Ausgaben. Außerdem verwenden sie nur einen begrenzten Textdatensatz zum Trainieren. Moderne und erfolgreiche Modelle wie Pangram nutzen einen breiteren Datensatz und setzen Techniken wie aktives Lernen ein, um genauere Ergebnisse zu erzielen.
2. Geben Sie den zu klassifizierenden Text ein und lassen Sie ihn tokenisieren: Ein Benutzer gibt den Text ein. Wenn ein Klassifikator Eingabetext erhält, tokenisiert er diesen. Das bedeutet, dass er den gesamten Text in eine Reihe von Zahlen zerlegt, die das Modell verstehen kann. Das Modell wandelt dann jedes Token in eine Einbettung um, also einen Zahlenvektor, der die Bedeutung jedes Tokens darstellt.
3. Klassifizierung des Tokens als „Mensch“ oder „KI“: Die Eingabe wird durch das neuronale Netzwerk geleitet, wodurch eine Ausgabeeinbettung erzeugt wird. Ein Klassifikator-Kopf wandelt die Ausgabeeinbettung in eine Vorhersage von 0 oder 1 um, wobei 0 für „Mensch“ und 1 für „KI“ steht.

Was ist mit falsch-positiven und falsch-negativen Ergebnissen?

Der Wert eines Tools zur KI-Erkennung wird daran gemessen, wie viele Fehlalarme (FPR) und Fehlentscheidungen (NPR) bei der Verwendung des Tools auftreten . Ein Fehlalarm liegt vor, wenn ein Detektor ein von Menschen verfasstes Textbeispiel fälschlicherweise als KI-generiert einstuft. Im Gegensatz dazu liegt eine Fehlentscheidung vor, wenn ein KI-generiertes Beispiel fälschlicherweise als von Menschen verfasster Text eingestuft wird.

Manuelle vs. automatisierte Erkennung

Wenn Sie sich dafür entscheiden, KI allein mit dem bloßen Auge zu erkennen, müssen Sie dafür geschult sein. Laien können nicht besser abschneiden als bei einem zufälligen Raten. Selbst erfahrene Linguisten können KI ohne gezielte Schulung nicht erkennen. Wir empfehlen, für optimale Ergebnisse beide Methoden zu nutzen, um einen robusteren und faireren Bewertungsprozess zu schaffen.

Zwar können KI-Inhaltsdetektoren feststellen, ob ein Text von KI-Tools generiert wurde oder nicht. Menschen können jedoch nicht nur erkennen, ob es sich um KI handelt oder nicht, sondern sie können dieser Entscheidung auch zusätzlichen Kontext und Nuancen hinzufügen. Ein Mensch kennt den Kontext: frühere Schreibproben des Schülers, wie Texte auf dem jeweiligen Leistungsniveau aussehen und wie eine typische Antwort eines Schülers auf eine Aufgabe aussieht. Dieser Kontext ist entscheidend, da die Angemessenheit des KI-Einsatzes je nach den Aufgabenstellungen stark variieren kann.

KI-Erkennungswerkzeuge sind nur der Anfang. Sie stellen keinen schlüssigen Beweis dafür dar, dass ein Studierender gegen die akademische Integrität verstoßen hat, sondern sind vielmehr ein erster Anhaltspunkt, der eine weitere, kontextbezogene Untersuchung rechtfertigt. Der Einsatz von KI kann unbeabsichtigt, zufällig oder sogar im Rahmen Ihrer jeweiligen Aufgabe zulässig sein: Es kommt darauf an!

Bonus: Was ist mit den Humanizern?!

Humanizer sind Tools, die dazu dienen, KI-Inhalte zu „humanisieren“, um eine Erkennung durch KI-Detektoren zu vermeiden. Autoren nutzen sie häufig, um das Erscheinungsbild von KI-generierten Texten zu verändern. Humanizer paraphrasieren Text, entfernen bestimmte Wörter und fügen einem Textstück menschenähnliche „Fehler“ hinzu. Manchmal macht dies den Text praktisch unlesbar oder mindert die Qualität erheblich. Viele KI-Detektoren trainieren ihre Software darauf, humanisierten Text zu erkennen. Die Verwendung eines Humanizers ist oft ein Risiko, da sie die Textqualität drastisch mindern kann, was insbesondere bei studentischen Arbeiten bedenklich ist.

Jetzt, da du weißt, wie sie funktionieren, probier es doch mal mit deinen eigenen Inhalten aus. Ist es KI oder ein Mensch?