Kann KI-Erkennung den Schreibstil von Claude erkennen?

Bild: Anthropic

Im November veröffentlichte Anthropic ein Update für Claude.ai, mit dem Benutzer auswählen können, in welchem Tonfall der Assistent antwortet. Zusätzlich zum Standardtonfall können Benutzer aus einem voreingestellten Menü mit den Optionen „Prägnant“, „Erklärend“ und „Formell“ wählen. Es gibt auch einen Modus für benutzerdefinierte Schreibstile, in dem Sie einige Dokumente oder Anweisungen eingeben können, die dann in Ihren eigenen Schreibstil umgewandelt werden.

Die Voreinstellungen sind ziemlich selbsterklärend. „Concise“ antwortet in der Regel in Stichpunkten oder Listen. „Explanatory“ gibt längere Antworten. „Formal“ lässt Claudes charakteristische Formulierung „Das ist eine gute Frage“ weg und schreibt ziemlich professionell. Meiner Erfahrung nach klingen sie jedoch alle immer noch wie Claude – sie unterscheiden sich nicht davon, dem Assistenten eine Frage zu stellen und um eine prägnante/erklärende/formelle Antwort zu bitten.

Was wir jedoch testen möchten, ist unsere KI-Erkennung. Ich habe jeden Claude-Schreibstil um einen 250 Wörter langen Aufsatz über den Untergang Roms gebeten. Sehen wir uns die Ergebnisse an.

Standard-Claude-Ausgabe Prägnante Claude-Ausgabe Erläuternde Claude-Ausgabe Formale Claude-Ausgabe

All dies klingt immer noch ziemlich ähnlich wie Claudes normaler Schreibstil. Es scheint kein großer Unterschied zu sein, ob man in der Aufgabenstellung direkt um eine „prägnante“ oder „formelle“ Ausgabe bittet.

Mal sehen, ob wir mit benutzerdefinierten Schreibstilen bessere Ergebnisse erzielen können. Die Benutzeroberfläche ist ziemlich cool: Man kopiert einfach einen Text hinein und erhält eine vollständige Eingabeaufforderung. Ich habe einen benutzerdefinierten Stil basierend auf meinen eigenen Blogbeiträgen erstellt. Claude hat ihn „Tech Storyteller” genannt. Einen weiteren habe ich aus einigen Blogbeiträgen von Slate Star Codex erstellt, und Claude hat ihn „Scholarly Skeptic” genannt. Es scheint, dass diese Funktion ein LLM verwendet, um etwa drei Sätze mit Anweisungen für den Schreibstil zu generieren. Es gibt auch einen Abschnitt für Benutzerbeispiele, aber zu meiner Überraschung sind die Beispiele, die dem LLM gegeben werden, vollständig generiert und scheinen im Vergleich zu den Quellbeispielen recht allgemein zu sein.

Tech-Storyteller-Aufforderung Tech Storyteller Claude Output Wissenschaftlicher Skeptiker-Impuls Wissenschaftlicher Skeptiker Claude Output

Diese Texte sehen immer noch eindeutig nach KI-Texten aus und werden vom Erkennungsmodell von Pangram weiterhin erkannt.

Da mir aufgefallen ist, dass die von der KI generierten Benutzerbeispiele möglicherweise eine Schwachstelle darstellen, habe ich die Schreibstilvorgaben manuell bearbeitet und stattdessen die Quellbeispiele hinzugefügt: meine Blogbeiträge und die Beiträge aus dem Slate Star Codex.

Aktualisierte Tech Storyteller Claude-Ausgabe Aktualisierte wissenschaftlich-skeptische Claude-Ausgabe

Immer noch eindeutig als KI-Text erkennbar. War er besser oder weniger KI-ähnlich? Nicht besonders, obwohl die Entfernung der sehr KI-ähnlichen Überschrift im Tech Storyteller ein Schritt in die richtige Richtung war. Mir ist aufgefallen, dass in den Anweisungen zum Schreibstil davon die Rede war, „komplexe Informationen“ zu präsentieren oder „Komplexität anzuerkennen“, was offenbar dazu führte, dass der KI-Text das Wort „komplex“ häufiger verwendete als die anderen Aufsätze. Nicht ganz der Schreibstil, den wir uns gewünscht hatten.

Abschließend möchte ich noch anmerken, dass ich das Pangram-Dashboard verwendet habe, um zu untersuchen, was genau an den Aufsätzen darauf hindeutete, dass sie von einer KI geschrieben worden waren. Viele der verwendeten Ausdrücke kamen in KI-Texten viel häufiger vor als in normalen menschlichen Texten.

Pangram-Dashboard

Unser Modell hat beispielsweise festgestellt, dass „komplex und facettenreich” in KI-Texten 700-mal häufiger verwendet wird als in von Menschen verfassten Texten. „Kompliziertes Zusammenspiel” wird 100-mal häufiger verwendet. „Spielte eine entscheidende Rolle” wird 70-mal häufiger verwendet. Diese Ausdrücke sind ein Beispiel dafür, wie wir KI-Texte intuitiv erkennen könnten, aber das Modell verwendet einen ganzheitlichen Ansatz, der den gesamten Kontext des Dokuments berücksichtigt.

Insgesamt scheint der Schreibstil von Claude eine praktische Funktion für Leute zu sein, die nicht bei jeder Eingabeaufforderung „no yapping” hinzufügen möchten, aber es ist kein Tool, mit dem sich KI-Ausgaben unerkennbar machen lassen.