Nein, LLMs ahmen nicht einfach nur menschliche Texte nach

Manche Menschen glauben, dass eine KI-Erkennung nicht möglich ist, da große Sprachmodelle darauf trainiert sind, menschliche Texte nachzuahmen, doch das ist nicht der Fall. Tatsächlich schreiben große Sprachmodelle auf eine ganz andere Art und Weise als Menschen, und genau das macht eine KI-Erkennung möglich.

In seinem Substack-Beitrag schreibt Freddie DeBoer:

„Woher stammen diese [KI-Schreib-]Muster? Sie stammen aus von Menschen verfassten Texten, die in den Trainingskorpora enthalten sind, anhand derer LLMs aufgebaut werden. Jedes LLM-Textmuster – jedes einzelne LLM-Textmuster – ist letztendlich das Ergebnis menschlicher Textproduktion. Es liegt in der Natur eines LLM, menschlichen Text auf der Grundlage von menschlichem Text zu modellieren.“

Er kommt zu dem Schluss, dass es daher nicht möglich ist, einen KI-Detektor mit einer extrem niedrigen Falsch-Positiv-Rate zu entwickeln, da immer die Möglichkeit besteht, dass ein Mensch dieselbe Textzeichenfolge erfindet und niederschreibt, die ein LLM ausgeben würde.

Wir hören häufig verschiedene Varianten davon:

„LLMs entnehmen ihre Daten aus einer Verteilung menschlicher Texte; daher lässt sich von einem LLM generierter Text nicht erkennen, da die Trainingsverteilung des LLM aus menschlichen Texten besteht.“

„Große Sprachmodelle (LLMs) werden darauf trainiert, wie Menschen zu schreiben. Wenn sie also ihre Aufgabe erfüllen, wird KI-Text jeden Detektor übertrumpfen.“

Diese Argumente scheinen auf den ersten Blick stichhaltig zu sein, lassen jedoch außer Acht, dass moderne LLMs komplexe Systeme sind. Moderne LLMs werden darauf trainiert, weit mehr zu leisten, als nur die Verteilung menschlicher Texte nachzuahmen. In diesem Blogbeitrag werden wir erläutern, warum und in welchen Punkten moderne LLMs wie ChatGPT, Claude und Gemini von der Verteilung menschlicher Texte abweichen und was ihnen ihren einzigartigen Stil und ihre eigene Stimme verleiht, wodurch sich ihre Texte erkennen lassen.

Zusammenfassung: Man könnte leicht zu der Annahme verleitet werden, dass die Ausgaben von LLMs – da sie darauf trainiert sind, menschlichen Text nachzubilden – von menschlichen Texten nicht mehr zu unterscheiden sind. In Wirklichkeit ahmen LLMs menschlichen Text jedoch nicht nur nach: Sie werden nachträglich so trainiert, dass sie als hilfreiche Assistenten fungieren, die Anweisungen befolgen. Dadurch wird ihr Schreibstil auf eine begrenzte Auswahl an Optionen beschränkt, die sich algorithmisch nachweisen lassen.

Am Anfang: Prognose für den nächsten Token

Die Geschichte der Sprachmodelle begann mit Vervollständigungsmodellen. Diese frühen Sprachmodelle waren recht einfach aufgebaut: Sie lernten anhand einer großen Menge an Textdaten, wie Wörter üblicherweise aufeinander folgten. Anschließend gab ein Nutzer dem Vervollständigungsmodell einige Anfangswörter vor, und daraufhin sagte das Modell das wahrscheinlichste nächste Wort voraus.

Ein Vervollständigungsmodell sagt eine Wahrscheinlichkeitsverteilung für das nächste Token voraus

Bildquelle: AIML.com

Im Hintergrund nimmt ein Vervollständigungsmodell eine Anfangszeichenfolge oder ein Präfix wie beispielsweise „Deep Learning ist sehr“ entgegen und gibt anschließend eine Liste von Wahrscheinlichkeiten dafür aus, was als Nächstes folgen könnte. Diese Wahrscheinlichkeiten werden über alle Vervollständigungen in einem sehr großen Trainingskorpus, das größtenteils aus Internetdaten besteht, aggregiert. Das Ergebnis war ein Wahrscheinlichkeitsmodell für alle von Menschen verfassten Texte, das anhand der natürlichen Häufigkeiten der Wörter im Trainingsdatensatz vorhersagen konnte, welche Wörter in welcher Reihenfolge am wahrscheinlichsten auftreten würden.

Daraus entstanden die ersten Sprachmodelle: GPT-1, GPT-2 und GPT-3. Diese Modelle werden heute als Basismodelle bezeichnet: Sie repräsentieren die rohen Verteilungen der menschlichen Sprache, doch ihre Ergebnisse sind unausgereift und ungeschliffen: Sie befolgen keine Anweisungen und können keine Unterhaltung führen. Heute bezeichnen wir diese Anfangsphase der Entwicklung von Sprachmodellen als Vortraining, und sie ist nur der erste Schritt bei der Erstellung eines KI-Assistenten oder Chatbots – danach folgt noch viel mehr.

Von GPT zu ChatGPT

Wann haben wir den Sprung von einer rohen Verteilung über Wörter hin zu der Fähigkeit geschafft, mit einem Sprachmodell wie mit einem Menschen zu kommunizieren? Um diese Frage zu beantworten, müssen wir bis in den März 2022 zurückgehen, als der erste große Durchbruch bei der Umwandlung von Sprachmodellen in Assistenten gelang: InstructGPT, veröffentlicht von OpenAI.

Mit InstructGPT wurde zum ersten Mal ein Sprachmodell gezielt darauf trainiert, nicht nur menschliche Sprache nachzuahmen, sondern auch Anweisungen zu befolgen, die ihm von einem Nutzer gegeben wurden – was wir heute als „Prompts“ bezeichnen.

Die drei Schritte nach dem Training aus der InstructGPT-Veröffentlichung: überwachtes Fine-Tuning, Training des Belohnungsmodells und bestärkendes Lernen

Hier ist eine Abbildung aus der ursprünglichen InstructGPT-Veröffentlichung. In dieser Veröffentlichung wurde gezeigt, dass man mithilfe einer als „Post-Training“ bezeichneten Technik ein Basismodell – in diesem Fall GPT-3 – so anpassen kann, dass es zu einem hilfreichen, anweisungenbefolgenden Assistenten wird, indem man den Stil des Modells so verändert, dass es eine bestimmte Persönlichkeit annimmt.

In dem Artikel werden drei Schritte beschrieben:

1. Menschliche Autoren liefern Beispiele dafür, was sie als akzeptable KI-Antworten auf Eingabeaufforderungen betrachten
2. KI-Forscher entwickeln ein Belohnungsmodell, das lernt, welche der vorgegebenen Antworten Menschen in der Regel bevorzugen
3. Mithilfe des Belohnungsmodells trainieren KI-Forscher das LLM darauf, die Belohnung über eine große Menge generierter Antworten hinweg zu maximieren.

Das ähnelt der pawlowschen Konditionierung aus der Psychologie! Die Forscher belohnen das Modell für bestimmte Ausgaben und für andere nicht, und durch Wiederholung lernt das Modell, etwas, das zuvor neutral war – nämlich eine vom Menschen bevorzugte Ausgabe –, mit einem positiven Wert aus der Belohnungsfunktion zu verknüpfen. Diese Technik wird als „Instruction Tuning“ bezeichnet und verwandelt das Modell von einem Basismodell in ein „Instruct-Modell“: ein Modell, das Gespräche führen und Anweisungen des Benutzers befolgen kann.

Durch die Feinabstimmung der Anweisungen wird verhindert, dass Sprachmodelle aus der Bahn geraten, wichtige Informationen aus ihrer Eingabe vergessen oder völlig abwegige Gedankengänge einschlagen. Außerdem erhalten Entwickler wie OpenAI und Anthropic dadurch die Kontrolle über das Verhalten ihrer Modelle. Beispielsweise sollten Modelle sich weigern, einem Nutzer zu erklären, wie man eine Bombe baut oder eine Bank ausraubt, selbst wenn dies die vom Nutzer gewünschte Antwort ist. Ohne Nachtrainierung wäre die Modellausrichtung – also die Fähigkeit, große Sprachmodelle hilfreich, harmlos und sicher zu gestalten – nicht möglich. Anthropic war mit seiner Veröffentlichung über „Constitutional AI“ ein Pionier dieser Art der Spezifizierung von Modellverhalten. Darin wird beschrieben, wie das Unternehmen Techniken nach dem Training einsetzt, um eine KI zu schaffen, die einer Reihe von Prinzipien folgt, die in der Verfassung von Anthropic dargelegt sind. Schließlich sorgt das „Instruction Tuning“ theoretisch dafür, dass die Kommunikation mit den Modellen angenehmer wird. Da menschliche Bewerter das Modell für ansprechende Antworten belohnen, wird das Modell freundlicher und entwickelt eine bessere Persönlichkeit.

Nichts umsonst: Negative Folgen nach dem Training

Nach dem Training gibt es nicht nur gute Nachrichten. Die Umgestaltung der Ausgabe wirkt sich erheblich auf das Verhalten eines Modells aus und führt dazu, dass sich dessen Ausgabe deutlich von der des ursprünglichen Basismodells unterscheidet.

Schmeichelei

Die Optimierung eines LLM nach menschlichen Vorlieben kann dazu führen, dass das Modell das Bestreben, anderen zu gefallen, über die Korrektheit stellt. Geht dies zu weit, wird das Modell die falschen Überzeugungen eines Nutzers verstärken, anstatt ihnen zu widersprechen. Im April 2025 kam es zu einem bemerkenswerten Eklat wegen dieses unterwürfigen Verhaltens des Modells, als OpenAI einräumte, dass die neue Version von GPT-4o übermäßig schmeichelhaft und zuvorkommend war – sogar zum Nachteil der Nutzer.

Verlust an Kreativität und Vielfalt bei KI-Ergebnissen

Das Nachtraining führt zudem zu weniger kreativen und einzigartigen Antworten der LLMs. Einige Forscher vermuten, dass das Nachtraining dazu führt, dass sich die Texte der LLMs flach, abgeleitet, eintönig oder wie KI-Schund anhören.

Eine Studie aus dem Jahr 2024 mit dem Titel „Creativity has Left the Chat“ vergleicht die Vielfalt der „Instruct“- und „Base“-Versionen von Metas KI-Modell Llama 2. Die Autoren stellten fest, dass das „Instruct“-Modell von Llama 2 in seinen Ausgaben deutlich weniger semantische und stilistische Vielfalt aufwies; bei der Auswahl von Figuren in Geschichten wählte Llama 2 „Instruct“ beispielsweise durchweg Figuren desselben Alters, derselben Nationalität und desselben Persönlichkeitstyps aus und gab ihnen sogar dieselben Namen. Nachfolgend ist eine Wortwolke mit den von den Basis- und Instruct-Modellen ausgewählten Namen dargestellt.

Wortwolken mit Namen, die von Basis- bzw. angepassten Modellen generiert wurden, aus „Creativity Has Left the Chat“

Abgeflachte Logits und Modus-Kollaps

In diesem Zusammenhang führt das Nachtraining zu sogenannten „abgeflachten Logits“, wobei nachtrainierte LLMs deterministisch ein einziges nächstes Wort auswählen, anstatt eine vielfältige Verteilung möglicher nächster Wörter zu erzeugen.

Das klingt zwar auf den ersten Blick nicht schlecht, führt jedoch zu einem sogenannten „Mode Collapse“ – einem Phänomen, bei dem LLMs keine vielfältige Ausdrucksweise mehr erzeugen, sondern stattdessen immer wieder dieselben begrenzten Optionen wählen.

Modus-Kollaps vs. Modusabdeckung: Bei einem kollabierten Modell konzentriert sich die Wahrscheinlichkeit auf einen einzigen Modus

Hier ein Beispiel für den Modus-Kollaps: Bei drei allgemein gebräuchlichen Ausdrucksweisen wählt ein LLM mit Modus-Kollaps standardmäßig die häufigste Ausdrucksweise, anstatt die Wahrscheinlichkeit auf alle Ausdrucksweisen zu verteilen.

Was hat das mit der Nachweisbarkeit zu tun?

Die Tatsache, dass LLMs auf diese Weise trainiert werden, hat einige Auswirkungen auf die Erkennung. Da LLMs auf bestimmte menschliche Vorlieben optimiert sind, neigen sie dazu, sehr ausgeprägte Persönlichkeiten anzunehmen. Diese Persönlichkeiten weisen Eigenheiten, Ticks und Besonderheiten auf, anhand derer ein Erkennungsmodell sie von menschlichen Texten unterscheiden kann. Abgeflachte Logits und Modus-Kollaps bedeuten zudem, dass trainierte LLMs bei der Textgenerierung tendenziell sehr konsistente Entscheidungen treffen, was bedeutet, dass wir durch die Analyse großer Mengen menschlicher und KI-Daten lernen können, wie diese Entscheidungen aussehen.

Zudem nehmen die heute entwickelten LLMs im Laufe ihres Trainings letztendlich ihre eigenen Ausgaben wieder auf, was einfach auf die zunehmende Verflachung der Texte im Internet zurückzuführen ist. So sind beispielsweise Ende 2024 über ein Drittel aller neuen Internetartikel KI-generiert; diese große Menge an KI-generiertem Text führt zu einem Verstärkungseffekt, bei dem neue Modelle auch die Persönlichkeiten älterer Modelle annehmen, die diesen Text generiert haben – sogar über Modellfamilien hinweg. Deshalb weisen viele LLMs stilistische Ähnlichkeiten mit dem ursprünglichen ChatGPT auf, obwohl sie von völlig unterschiedlichen Forschungslabors entwickelt wurden! Manchmal geschieht dies sogar absichtlich: Es wird weithin spekuliert, dass chinesische Forschungslabors versuchen, aus amerikanischen Vorreitermodellen wie Claude etwas zu „destillieren“, indem sie auf deren Ausgaben trainieren. Das verleiht diesen Sprachmodellen eine Claude-ähnliche Persönlichkeit!

Werden LLMs immer so leicht zu erkennen sein?

Die Erforschung und Lösung des Modus-Kollapses ist ein aktuelles, aktives Forschungsgebiet der künstlichen Intelligenz. Werden große Sprachmodelle (LLMs) eines Tages in der Lage sein, vielfältigere Ausgabeverteilungen zu erzeugen? Ich bin der Meinung, dass dies der Fall sein wird, und es gibt sogar bereits einige Sprachmodelle, die recht vielfältig sind: Tatsächlich verfügen wir bereits über solche in Form von Basismodellen!

Das Paradigma des Post-Trainings wird jedoch nicht verschwinden. Die Gründe, warum LLMs konsistente Entscheidungen treffen und bestimmte Vorlieben haben, spiegeln die Vorlieben ihrer Entwickler wider. Fragen Sie ein chinesisches Sprachmodell, was 1989 auf dem Platz des Himmlischen Friedens geschah, und Sie werden die Vorlieben dieses Entwicklers sofort erkennen! Tatsache ist, dass wir ohne Nachtraining keine sicheren und auf die Vorgaben abgestimmten Sprachmodelle haben können, die sich hilfreich und harmlos verhalten. Letztendlich entwickeln LLM-Unternehmen Verbraucherprodukte, die bestimmte Verhaltensanforderungen erfüllen müssen: Es gibt Bereiche im menschlichen Textraum (wie z. B. toxische Inhalte, Falschinformationen usw.), aus denen die LLM-Unternehmen nicht möchten, dass ihre Modelle Beispiele beziehen. Schließlich wollen LLM-Unternehmen ihre Modelle auch so optimieren, dass sie eine angenehme Persönlichkeit haben – je mehr Spaß die Menschen bei der Interaktion mit ihren Modellen haben, desto wahrscheinlicher ist es, dass sie ein bestimmtes Modell nutzen und nicht auf Modelle der Konkurrenz zurückgreifen. Wie sich dies äußerte, zeigte sich daran, wie einige GPT-4o-Fans auf die Einstellung dieses Modells durch OpenAI reagierten.

Diese Präferenzen der Entwickler und der Menschen schlagen sich letztendlich in den Modellen nieder, indem sie den Persönlichkeits- und Ausgaberraum dieser LLMs im Austausch für Angleichung, Verhaltensgestaltung und Persönlichkeitsoptimierung einschränken. Solange diese Modellentwickler also weiterhin spezifische Präferenzen und Entscheidungen hinsichtlich des Modellverhaltens haben, sollte Pangram meiner Meinung nach in der Lage sein, solche Präferenzen konsistent zu erkennen.