Wie man KI-Texte erkennt

ChatGPT schreibt in Sekundenschnelle 2000 Wörter voller Unsinn.

ChatGPT und andere große Sprachmodelle (LLMs), die zusammenfassend als „KI” bezeichnet werden, sind zu immer beliebteren Tools geworden. Am häufigsten werden sie als Assistenten eingesetzt, bei denen der Nutzer direkt mit dem Sprachmodell chatten kann. Allerdings werden LLMs zunehmend dazu verwendet, um „Slop” zu erstellen, ein Begriff für unerwünschte oder faul generierte KI-Inhalte. Ein Beispiel für KI-Slop ist ein Blogbeitrag, der vollständig von ChatGPT verfasst und im Internet veröffentlicht wurde, um Suchverkehr zu generieren. Ein weiteres Beispiel für KI-Slop ist ein Unternehmen, das versucht, seine Bewertungen zu verbessern, indem es KI einsetzt, um mehrere lange, begeisterte Rezensionen zu verfassen.

Pangram Labs hat ein hochpräzises Machine-Learning-Modell trainiert, um KI-generierte Texte zu klassifizieren. Am Ende des Trainings hat das Modell Hunderte Millionen Beispiele von menschlich verfassten und KI-generierten Texten gesehen. Dieser Beitrag hilft Ihnen dabei, Ihr eigenes Gespür für das Erkennen von KI-Texten zu entwickeln, idealerweise mit weniger Beispielen.

Ich habe mit Pädagogen, Zulassungsberatern und Verlegern gesprochen, die alle aufgrund des massiven Anstiegs der KI-Nutzung im letzten Jahr gezwungen waren, diese Fertigkeit zu erlernen. Dieser Artikel ist eine Zusammenstellung von Informationen, die ich von ihnen erhalten habe, sowie von Techniken, die wir intern bei Pangram einsetzen, um neue Mitarbeiter schnell einzuarbeiten. Schließlich kann man kein gutes Machine-Learning-Modell trainieren, wenn man mit der Aufgabe selbst nicht vertraut ist.

TL;DR

• Suchen Sie nach gängigen KI-Phrasen.
• Bitten Sie ChatGPT, mehrere Exemplare des Dokumenttyps zu generieren, den Sie erkennen möchten, und suchen Sie nach Ähnlichkeiten.
• Versuchen Sie, KI-Texte unerkennbar zu machen, und suchen Sie nach Auffälligkeiten.
• Verwenden Sie einen KI-Schreibprüfer, um Ihre Intuition zu schärfen.

Komponenten des Schreibens

Thema

Im Allgemeinen kann KI ihr Thema nicht selbst wählen – sie wird aufgefordert, über etwas Bestimmtes zu schreiben. Trotzdem neigt KI dazu, bestimmte Unterthemen zu bevorzugen, die sie selbst auswählt. Wenn ich ChatGPT beispielsweise auffordere, mir einen Aufsatz über die Symbolik in Moby Dick zu schreiben, wird sie wahrscheinlich immer wieder dieselben offensichtlichen Themen wählen. Allerdings könnte jeder Schüler ChatGPT auffordern, speziell über eine bestimmte Form der Symbolik in dem Buch zu schreiben, und ChatGPT wäre in der Lage, darüber zu schreiben. Aus diesem Grund lege ich bei der Beurteilung, ob ein Text von KI stammt oder nicht, nicht allzu viel Wert auf das Thema.

Struktur

Wenn man KI bittet, vollständige Dokumente zu verfassen, hat sie in der Regel eine bestimmte Struktur, auf die sie standardmäßig zurückgreift. Wenn man sie bittet, einen Blogbeitrag zu schreiben, beginnt sie mit einer Einleitung, 3–4 Absätzen, einigen Stichpunkten und einer Zusammenfassung des Beitrags. Wenn ich möchte, dass die KI eine Restaurantbewertung schreibt, beginnt sie oft mit den Worten „Ich hatte kürzlich das Vergnügen, im ____ zu essen“, spricht über das Essen, das Ambiente und den Service und schließt mit einem begeisterten „Sehr zu empfehlen“. Die Standardstruktur kann zwar auch geändert werden („Schreibe mir einen Blogbeitrag mit 20 Absätzen“, „Halte die Bewertung kurz, erwähne den Namen des Restaurants nicht.“), aber das erfordert einen Aufwand, den viele Nutzer nicht bereit sind zu betreiben. Wenn ein Text ähnlich wie andere KI-Texte strukturiert ist, ist das ein starkes erstes Indiz dafür, dass man genauer hinschauen sollte.

Stil

Im Poker bezeichnet das Wort „Tell“ einen Hinweis, den jemand unbewusst gibt, wenn er blufft. Wenn jemand beispielsweise nervös ist, spielt er möglicherweise mit seiner Brille herum und gibt so Informationen über seine Einsätze preis. In ähnlicher Weise bezeichnen wir bei Pangram bestimmte Wörter oder Ausdrücke als „AI Tells“ – das sind Wörter oder Ausdrücke, die ChatGPT oder andere Sprachmodelle überproportional häufig verwenden und die ein sehr starkes Signal für die Herkunft aus einer KI sind, sobald man sie einmal bemerkt hat.

„Delve“ ist ein extremes Beispiel für einen KI-Hinweis, da ChatGPT diesen Begriff viel häufiger verwendet, als es im normalen amerikanischen Englisch der Fall wäre.

Mir ist auch aufgefallen, dass „Ich hatte kürzlich das Vergnügen“ eine häufig verwendete Formulierung in Restaurantbewertungen ist und ChatGPT immer das Wort „begeistert“ einfügt, wenn man es bittet, ein Anschreiben zu verfassen. Selbst bei intensiver Eingabe werden LLMs stark von internen stilistischen Tendenzen beeinflusst. Aus diesem Grund ist der Stil ein starkes Signal, auf das ich mich stark stütze.

Hier ist eine Liste mit gängigen KI-Phrasen, die Sie als Ausgangspunkt verwenden können. (Quellen: reddit, aiphrasefinder.com)

• „Es ist wichtig zu beachten“
• "Eintauchen in"
• „Wandteppich“
• Lebhaft
• „Geschäftig“
• „Zusammenfassend“ oder „Abschließend“
• „Denken Sie daran, dass ...“
• „Tauchen Sie ein in“
• „Navigieren“, d. h. „sich in der Landschaft zurechtfinden“ „sich in den Komplexitäten von ... zurechtfinden“
• „Landschaft“, d. h. „Die Landschaft von …“, insbesondere „sich ständig verändernde Landschaft“
• „Testament“, d. h. „ein Zeugnis für ...“
• „In der Welt von“
• "Reich"
• "Begeben"
• „Sinfonie“
• „Umarmung“
• „Ob Sie nun X oder Y sind“
• „Wenn es um … geht“

Techniken zur Verbesserung Ihrer Intuition

Phrasen sind eine gute Grundlage, aber oft generiert die KI Texte, die offensichtlich von einer KI geschrieben wurden, aber keine dieser Phrasen verwenden. Um diese Fähigkeit zu verbessern, müssen wir uns etwas Zeit nehmen, um das Schreiben von KI tatsächlich zu studieren.

Studium KI-Schreiben

Für manche mag es unangenehm sein, für andere spannend, aber wenn Sie KI identifizieren möchten, müssen Sie wissen, wie KI-Texte aussehen. Es ist hilfreich, wenn Sie eine bestimmte Art von Text haben, die Sie identifizieren möchten. Nehmen wir an, ich möchte wirklich gut darin werden, KI-E-Mails zu erkennen. Als Erstes bitte ich ChatGPT, eine E-Mail mit einer kalten Kontaktaufnahme zu schreiben. Eine Dankes-E-Mail. Eine Marketing-E-Mail. Wiederholen Sie dies einige Male, ändern Sie die Eingabeaufforderung und notieren Sie die Ähnlichkeiten zwischen den einzelnen Iterationen. Versuchen Sie es als Nächstes erneut mit Claude und Gemini und suchen Sie weiter nach Mustern.

Betreff: Möglichkeiten der Zusammenarbeit mit OpenAI ausloten

Sehr geehrte(r) [Name des Gründers],

Ich hoffe, es geht Ihnen gut. Mein Name ist [Ihr Name] und ich bin [Ihre Position] bei [Ihr Unternehmen/Ihre Organisation], wo wir uns auf [beschreiben Sie kurz Ihr Fachgebiet oder Ihre Expertise] spezialisiert haben. Ich verfolge seit einiger Zeit die bahnbrechenden Fortschritte von OpenAI im Bereich der künstlichen Intelligenz und bin wirklich beeindruckt von Ihrem Engagement für eine ethische KI-Entwicklung und den transformativen Auswirkungen Ihrer Projekte.

Ich möchte mich mit Ihnen in Verbindung setzen, um mögliche Kooperationsmöglichkeiten zwischen unseren Organisationen zu erkunden. Ich bin davon überzeugt, dass die Kombination der KI-Fähigkeiten von OpenAI mit unserem Fachwissen in [Ihrem spezifischen Bereich oder Ihrer Technologie] zu innovativen Lösungen führen könnte, die diesen Bereich weiter voranbringen und einen erheblichen Mehrwert schaffen.

Ich würde mich über die Gelegenheit freuen, dies weiter zu besprechen und Möglichkeiten zu erörtern, wie wir gemeinsam auf unsere gemeinsamen Ziele hinarbeiten können. Könnten wir einen kurzen Telefontermin oder ein Treffen vereinbaren, wann es Ihnen passt? Ich bin zeitlich flexibel und passe mich gerne Ihrem Terminkalender an.

Vielen Dank, dass Sie diese Möglichkeit in Betracht ziehen. Ich freue mich auf die Möglichkeit, mit Ihnen zusammenzuarbeiten und zu den spannenden Entwicklungen bei OpenAI beizutragen.

Mit freundlichen Grüßen,

[Ihr vollständiger Name]

[Ihre Position]

[Ihr Unternehmen/Ihre Organisation]

[Kontaktdaten]

[LinkedIn-Profil oder Website] (optional)

Spielen Sie gegnerische Spiele

Als wir Pangram Labs gegründet haben, haben wir viel mit etwas gearbeitet, das wir „The Human Baseline” genannt haben. Die Regeln sind einfach. Man wählt ein Thema aus. Unsere erste Human Baseline waren Zulassungsaufsätze. Person A beschafft fünf von Menschen verfasste Zulassungsaufsätze für Hochschulen. Dann verwendet Person A ChatGPT oder ein anderes LLM, um fünf von KI verfasste Aufsätze zu erstellen. Diese werden gemischt und Person B erhält alle zehn Aufsätze, um zu klassifizieren, welche von der KI stammen. Person B kann den Test durchführen und ihre Begründung angeben. So entsteht eine Basislinie dafür, wie gut diese Aufsätze erkennbar sind, und es können Heuristiken entwickelt werden.

Um noch einen Schritt weiter zu gehen, kann Person B ihre Erkenntnisse nutzen, um eine schwierigere menschliche Basislinie zu erstellen, indem sie dem LLM mehr Input gibt oder es auffordert, die Phrasen zu vermeiden, die es offensichtlich machen. Dieser Austausch kann Ihre Intuition weiter verbessern und Ihnen auch dabei helfen, zu lernen, welche KI-Aussagen immer wieder auftauchen.

Als Beispiel für eine menschliche Basislinie sehen Sie sich diese beiden Bewertungen an. Eine stammt von Yelp, die andere von GPT-4.

Falls es nicht offensichtlich ist: Das erste Beispiel stammt von einer KI, das zweite von einem Menschen. Ich habe sowohl das Thema (Textbook Cafe in Brooklyn) als auch die Struktur (ein Absatz) vorgegeben, aber der Stil von ChatGPT ist so ausgeprägt, dass es dennoch offensichtlich ist. Versuchen Sie, selbst etwas zu erstellen, und teilen Sie es mit einem Freund!

Verwenden Sie Tools, die für die KI-Erkennung entwickelt wurden.

Pangram Labs hat unzählige Stunden damit verbracht, Machine-Learning-Modelle zu trainieren, die aus Hunderten Millionen von Dokumenten gelernt haben, um Inhalte, die von KI und Menschen geschrieben wurden, bestmöglich zu unterscheiden. Deshalb möchte ich auch ein wenig Eigenwerbung machen. Über unser Dashboard können Sie Text einfügen oder Dokumente hochladen. Wenn Sie sich also unsicher sind und etwas Konkreteres als Ihre Intuition als Grundlage benötigen, erhalten Sie hier eine Klassifizierung und einen Konfidenzwert. Das Dashboard enthält auch eine tiefergehende Analyse, die zeigt, welche Wörter oder Ausdrücke bei der Klassifizierung die größten Hinweise geliefert haben. Ich persönlich nutze unser Tool ständig, wenn ich im Internet etwas sehe, das bei mir Alarmglocken läuten lässt, und ich hoffe, dass es auch für Sie nützlich sein kann.

Fragen? Kommentare? Haben Sie einen eklatanten KI-Fehler gefunden und möchten Sie ihn mitteilen? Kontaktieren Sie uns auf Twitter/X unter @max_spero_.