Wie man von KI verfasste Texte erkennt

ChatGPT schreibt innerhalb von Sekunden 2000 Wörter voller Unsinn

ChatGPT und andere große Sprachmodelle (LLMs), die im Allgemeinen zusammenfassend als „KI“ bezeichnet werden, sind zu immer beliebteren Werkzeugen geworden. Am häufigsten werden sie als Assistenten eingesetzt, wobei der Nutzer direkt mit dem Sprachmodell chatten kann. Allerdings werden LLMs zunehmend dazu genutzt, „Slop“ zu erzeugen – ein Begriff für unerwünschte oder lieblos generierte KI-Inhalte. Ein Beispiel für KI-Slop ist ein Blogbeitrag, der vollständig von ChatGPT verfasst und im Internet veröffentlicht wurde, um Suchverkehr zu generieren. Ein weiteres Beispiel für KI-Slop ist ein Unternehmen, das versucht, seine Bewertungen zu verbessern, indem es mithilfe von KI mehrere lange, überschwängliche Rezensionen verfasst.

Pangram Labs hat ein hochpräzises Modell für maschinelles Lernen trainiert, um KI-generierte Texte zu klassifizieren. Bis zum Abschluss des Trainings hat das Modell Hunderte Millionen Beispiele für von Menschen verfasste und KI-generierte Texte verarbeitet. Dieser Beitrag soll Ihnen dabei helfen, ein eigenes Gespür für das Erkennen von KI-Texten zu entwickeln – im Idealfall schon mit weniger Beispielen.

Ich habe mit Pädagogen, Studienberatern und Verlegern gesprochen, die alle im letzten Jahr aufgrund des massiven Anstiegs der KI-Nutzung dazu gezwungen waren, sich diese Fertigkeit anzueignen. Dieser Artikel ist eine Zusammenstellung der Informationen, die ich von ihnen erhalten habe, sowie der Methoden, die wir intern bei Pangram anwenden, um neue Mitarbeiter schnell einzuarbeiten. Schließlich kann man kein gutes Modell für maschinelles Lernen trainieren, wenn man mit der Aufgabe selbst nicht vertraut ist.

TL;DR

• Achte auf gängige KI-Begriffe.
• Bitten Sie ChatGPT, mehrere Exemplare des Dokumenttyps zu erstellen, den Sie erkennen möchten, und suchen Sie nach Ähnlichkeiten.
• Versuchen Sie doch einmal, KI-Texte so zu gestalten, dass sie nicht als solche erkennbar sind, und achten Sie darauf, was dabei auffällt.
• Nutze eine Plagiatsprüfungssoftware, um dein Gespür zu schärfen.

Bestandteile des Schreibens

Thema

Im Allgemeinen kann sich die KI ihr Thema nicht selbst aussuchen – sie wird aufgefordert, über etwas Bestimmtes zu schreiben. Dennoch neigt die KI dazu, sich auf die Unterthemen zu konzentrieren, die sie selbst auswählt. Wenn ich ChatGPT beispielsweise auffordere, mir einen Aufsatz über die Symbolik in „Moby Dick“ zu schreiben, wird sie wahrscheinlich dieselben, naheliegendsten Themen auswählen. Allerdings könnte jeder Schüler ChatGPT auffordern, speziell über eine bestimmte Form der Symbolik in dem Buch zu schreiben, und ChatGPT wäre in der Lage, darüber zu schreiben. Aus diesem Grund lege ich nicht allzu viel Wert auf das Thema, wenn ich beurteile, ob ein Text von KI stammt oder nicht.

Aufbau

Wenn man KI bittet, ganze Dokumente zu verfassen, greift sie in der Regel auf eine bestimmte Standardstruktur zurück. Bittet man sie, einen Blogbeitrag zu verfassen, beginnt sie mit einer Einleitung, 3–4 Absätzen, einigen Stichpunkten und einer Zusammenfassung am Ende. Ähnlich verhält es sich, wenn ich möchte, dass die KI eine Restaurantkritik für mich schreibt: Oft beginnt sie mit den Worten „Ich hatte kürzlich das Vergnügen, im ____ zu speisen“, spricht über das Essen, das Ambiente und den Service und schließt mit einem begeisterten „Sehr zu empfehlen“. Zwar lässt sich die Standardstruktur auch durch Eingaben umgehen („Schreib mir einen Blogbeitrag mit 20 Absätzen“, „Halte die Bewertung kurz, erwähne den Namen des Restaurants nicht“), doch erfordert dies einen Aufwand, den viele Nutzer nicht bereit sind zu betreiben. Wenn ein Text ähnlich strukturiert ist wie andere KI-Texte, ist das ein starkes erstes Anzeichen dafür, genauer hinzuschauen.

Stil

Im Poker bezeichnet der Begriff „Tell“ ein unbewusstes Signal, das jemand beim Bluffen aussendet. Wenn jemand beispielsweise nervös ist, spielt er vielleicht an seiner Brille herum und verrät so Informationen über seine Einsätze. In ähnlicher Weise bezeichnen wir bei Pangram bestimmte Wörter oder Ausdrücke als „KI-Tells“ – das sind Wörter oder Ausdrücke, die ChatGPT oder andere Sprachmodelle überproportional häufig verwenden, und sie sind ein sehr deutliches Anzeichen für einen KI-Ursprung, sobald man sie einmal bemerkt hat.

„Delve“ ist ein extremes Beispiel für einen KI-Verräter, da ChatGPT diesen Ausdruck viel häufiger verwendet, als es im normalen amerikanischen Englisch üblich wäre.

Mir ist außerdem aufgefallen, dass „Ich hatte kürzlich das Vergnügen“ eine gängige Formulierung in Restaurantkritiken ist und ChatGPT es immer schafft, das Wort „begeistert“ einzufügen, wenn man es bittet, ein Anschreiben zu verfassen. Selbst bei ausführlichen Eingaben lassen sich LLMs stark von internen stilistischen Tendenzen leiten. Aus diesem Grund ist der Stil ein wichtiges Signal, auf das ich großen Wert lege.

Hier ist eine Liste gängiger KI-Ausdrücke, die als Ausgangspunkt dienen können. (Quellen: reddit, aiphrasefinder.com)

• „Es ist wichtig zu beachten, dass“
• „Tauchen Sie ein in“
• „Wandteppich“
• „Lebhaft“
• „Lebhaft“
• „Zusammenfassend“ oder „Abschließend“
• „Denk daran, dass …“
• „Tauchen Sie ein in“
• „sich zurechtfinden“, d. h. „sich in der Landschaft zurechtfinden“, „sich in den Komplexitäten von … zurechtfinden“
• „Landschaft“, d. h. „Die Landschaft von …“, insbesondere „sich ständig wandelnde Landschaft“
• „Testament“, d. h. „ein Zeugnis für…“
• „In der Welt von“
• „Reich“
• „An Bord gehen“
• „Sinfonie“
• „Umarmung“
• „Ob du nun X oder Y bist“
• „Wenn es um“

Techniken zur Stärkung Ihrer Intuition

Phrasen sind eine gute Grundlage, aber oft erzeugt die KI Texte, die offensichtlich von einer KI verfasst wurden, aber keine dieser Phrasen enthalten. Um diese Fähigkeit zu verbessern, müssen wir uns etwas Zeit nehmen, um das Schreiben der KI genauer zu untersuchen.

KI-Schreiben lernen

Manchen mag es unangenehm sein, anderen wiederum spannend, aber wenn man KI erkennen will, muss man wissen, wie KI-Texte aussehen. Es ist hilfreich, wenn man eine bestimmte Art von Text im Blick hat, die man erkennen können möchte. Nehmen wir an, ich möchte wirklich gut darin werden, KI-E-Mails zu erkennen. Als Erstes bitte ich ChatGPT, eine E-Mail zur Kontaktaufnahme zu verfassen. Eine Dankes-E-Mail. Eine Marketing-E-Mail. Das wiederhole ich ein paar Mal, wobei ich die Eingabeaufforderung variiere und die Gemeinsamkeiten zwischen den einzelnen Versionen notiere. Als Nächstes versuche ich es erneut mit Claude und Gemini und suche weiterhin nach Mustern.

Betreff: Sondierung von Möglichkeiten zur Zusammenarbeit mit OpenAI

Sehr geehrter [Name des Gründers],

Ich hoffe, es geht Ihnen gut. Mein Name ist [Ihr Name] und ich bin [Ihre Position] bei [Ihr Unternehmen/Ihre Organisation], wo wir uns auf [kurze Beschreibung Ihres Fachgebiets oder Ihrer Expertise] spezialisiert haben. Ich verfolge die bahnbrechenden Fortschritte von OpenAI im Bereich der künstlichen Intelligenz und bin wirklich beeindruckt von Ihrem Engagement für eine ethische KI-Entwicklung sowie von den transformativen Auswirkungen Ihrer Projekte.

Ich wende mich an Sie, um mögliche Kooperationsmöglichkeiten zwischen unseren Organisationen zu erörtern. Ich bin davon überzeugt, dass die Kombination der KI-Kompetenzen von OpenAI mit unserer Expertise in [Ihrem spezifischen Fachgebiet oder Ihrer Technologie] zu innovativen Lösungen führen könnte, die den Bereich weiter vorantreiben und einen erheblichen Mehrwert schaffen.

Ich würde mich über die Gelegenheit freuen, dies weiter zu besprechen und Möglichkeiten zu erörtern, wie wir gemeinsam auf unsere gemeinsamen Ziele hinarbeiten können. Könnten wir einen kurzen Telefontermin oder ein Treffen vereinbaren, wann es Ihnen passt? Ich bin zeitlich flexibel und passe mich gerne Ihrem Zeitplan an.

Vielen Dank, dass Sie diese Möglichkeit in Betracht ziehen. Ich freue mich auf eine mögliche Zusammenarbeit und darauf, zu den spannenden Entwicklungen bei OpenAI beizutragen.

Mit freundlichen Grüßen,

[Ihr vollständiger Name]

[Ihre Position]

[Ihr Unternehmen/Ihre Organisation]

[Kontaktdaten]

[LinkedIn-Profil oder Website] (optional)

Spiele gegeneinander

Als wir Pangram Labs gründeten, haben wir unzählige Male das durchgeführt, was wir „The Human Baseline“ nannten. Die Regeln sind einfach: Man wählt ein Thema aus. Unsere erste „Human Baseline“ betraf Zulassungsaufsätze. Person A besorgt sich fünf von Menschen verfasste Zulassungsaufsätze für Hochschulen. Anschließend erstellt Person A mit ChatGPT oder einem anderen LLM fünf von KI verfasste Aufsätze. Diese werden gemischt, und die zehn Aufsätze werden Person B als Test vorgelegt, damit diese herausfindet, welche von der KI stammen. Person B kann den Test absolvieren und ihre Begründung darlegen. Dies schafft eine Grundlage dafür, wie gut diese Aufsätze zu erkennen sind, und hilft bei der Entwicklung von Heuristiken.

Um noch einen Schritt weiter zu gehen, kann Person B ihre Erkenntnisse nutzen, um eine anspruchsvollere menschliche Referenzlinie zu erstellen, indem sie dem LLM mehr Eingaben liefert oder es auffordert, die Formulierungen zu vermeiden, die den Trick offensichtlich machen. Dieses Hin und Her kann Ihr Gespür weiter schärfen und Ihnen zudem dabei helfen, zu erkennen, welche KI-Tricks immer wieder auftauchen.

Als Beispiel für eine menschliche Referenz kannst du dir diese beiden Bewertungen ansehen. Die eine stammt von Yelp, die andere von GPT-4.

Falls es nicht auf den ersten Blick klar ist: Das erste Beispiel stammt von einer KI, das zweite von einem Menschen. Ich habe sowohl das Thema (Textbook Cafe in Brooklyn) als auch die Struktur (ein Absatz) vorgegeben, aber der Stil von ChatGPT ist so ausgeprägt, dass der Unterschied dennoch deutlich zu erkennen ist. Versuche doch mal, selbst einen zu erstellen, und teile ihn mit einem Freund!

Verwenden Sie Tools, die für die KI-Erkennung entwickelt wurden

Pangram Labs hat unzählige Stunden in das Training von Machine-Learning-Modellen investiert, die anhand von Hunderten Millionen Dokumenten gelernt haben, Inhalte, die von KI verfasst wurden, am besten von denen zu unterscheiden, die von Menschen geschrieben wurden. Da kann ich ja auch ein bisschen Eigenwerbung machen. Über unser Dashboard können Sie Text einfügen oder Dokumente hochladen. Wenn Sie also unsicher sind und sich auf etwas Konkreteres als Ihre Intuition stützen möchten, erhalten Sie hier eine Klassifizierung und einen Konfidenzwert. Das Dashboard enthält zudem eine tiefergehende Analyse, die zeigt, welche Wörter oder Phrasen bei der Klassifizierung den größten Einfluss hatten. Ich persönlich nutze unser Tool ständig, wenn mir im Internet etwas auffällt, das bei mir Alarmglocken läuten lässt, und ich hoffe, dass es auch für Sie nützlich sein kann.

Fragen? Anmerkungen? Hast du einen eklatanten KI-Fehler entdeckt und möchtest ihn teilen? Melde dich auf Twitter/X unter @max_spero_.

Möchten Sie Ihre Intuition auf die Probe stellen? Probieren Sie das KI-Erkennungstool von Pangram aus, um beliebige Texte auf KI-generierte Inhalte zu überprüfen.