Kann eine KI-Erkennung den Schreibstil von Claude erkennen?

Bild: Anthropic

Im November veröffentlichte Anthropic ein Update für Claude.ai, mit dem Nutzer nun auswählen können, in welchem Tonfall der Assistent antworten soll. Zusätzlich zum Standardtonfall können Nutzer aus einem voreingestellten Menü zwischen den Optionen „Prägnant“, „Erklärend“ und „Formal“ wählen. Es gibt außerdem einen Modus für benutzerdefinierte Schreibstile, bei dem man Dokumente oder Anweisungen eingeben kann, die dann in den eigenen Schreibstil umgewandelt werden.

Die Voreinstellungen sind ziemlich selbsterklärend. „Concise“ antwortet in der Regel in Stichpunkten oder Listen. „Explanatory“ liefert längere Antworten. „Formal“ lässt Claudes typisches „Das ist eine tolle Frage“ weg und schreibt ziemlich professionell. Meiner Erfahrung nach klingen sie jedoch alle immer noch wie Claude – es ist kein Unterschied, ob man dem Assistenten eine Frage stellt und um eine prägnante, ausführliche oder formelle Antwort bittet.

Was wir jedoch auf die Probe stellen wollen, ist unsere KI-Erkennung. Ich habe jeden Claude-Schreibstil gebeten, einen 250 Wörter langen Aufsatz über den Untergang Roms zu verfassen. Schauen wir uns die Ergebnisse einmal an.

Standard-Claude-Ausgabe Prägnante Claude-Ausgabe Erläuternde Claude-Ausgabe Formale Claude-Ausgabe

Das klingt alles immer noch ziemlich ähnlich wie Claudes üblicher Schreibstil. Das scheint sich kaum davon zu unterscheiden, wenn man in der Eingabeaufforderung direkt um eine „prägnante“ oder „formelle“ Ausgabe bittet.

Mal sehen, ob wir mit benutzerdefinierten Schreibstilen bessere Ergebnisse erzielen können. Die Benutzeroberfläche ist ziemlich cool: Im Grunde kopiert man einfach einen Text hinein, und schon wird eine vollständige Schreibanleitung generiert. Ich habe einen benutzerdefinierten Stil auf der Grundlage meiner eigenen Blogbeiträge erstellt. Claude hat ihn „Tech Storyteller“ genannt. Einen weiteren habe ich aus einigen Blogbeiträgen von „Slate Star Codex“ erstellt, und Claude hat ihn „Scholarly Skeptic“ genannt. Es scheint, dass diese Funktion ein LLM nutzt, um etwa drei Sätze mit Anweisungen für den Schreibstil zu erstellen. Es gibt auch einen Bereich für Benutzerbeispiele, aber zu meiner Überraschung sind die dem LLM vorgelegten Beispiele komplett generiert und wirken im Vergleich zu den Quellbeispielen ziemlich generisch.

Aufgabe für den Tech-Storyteller Ausgabe von Tech Storyteller Claude Aufgabe für wissenschaftlich kritische Denker Wissenschaftlicher Skeptiker Claude – Veröffentlichungen

Diese Texte sehen immer noch eindeutig nach KI-Text aus, und das Erkennungsmodell von Pangram erkennt sie nach wie vor.

Da mir aufgefallen ist, dass die von der KI generierten Benutzerbeispiele möglicherweise ein Manko darstellen, habe ich die Vorgaben für den Schreibstil manuell angepasst und stattdessen die Originalbeispiele einbezogen: meine Blogbeiträge und die Beiträge von Slate Star Codex.

Aktualisierte Ausgabe von „Tech Storyteller Claude“ Aktualisierte Ausgabe von „Scholastic Skeptic Claude“

Der Text ist immer noch eindeutig als KI-Text erkennbar. War er besser oder weniger KI-typisch? Nicht wirklich, obwohl die Entfernung der sehr KI-typisch anmutenden Überschrift im „Tech Storyteller“ ein Schritt in die richtige Richtung war. Mir ist aufgefallen, dass in den Anweisungen zum Schreibstil davon die Rede war, „komplexe Informationen“ darzustellen oder „Komplexität anzuerkennen“, was offenbar dazu führte, dass das KI-Text in diesem Fall das Wort „komplex“ häufiger verwendete als in den anderen Aufsätzen. Nicht gerade der Schreibstil, um den wir gebeten hatten.

Noch eine letzte Anmerkung: Ich habe das Pangram-Dashboard genutzt, um zu untersuchen, woran genau man erkennen konnte, dass die Aufsätze von einer KI verfasst worden waren. Viele der verwendeten Formulierungen kamen in KI-Texten viel häufiger vor als in normalen, von Menschen verfassten Texten.

Pangram-Dashboard

Unser Modell hat beispielsweise festgestellt, dass der Ausdruck „komplex und facettenreich“ in KI-Texten 700-mal häufiger vorkommt als in von Menschen verfassten Texten. „Kompliziertes Zusammenspiel“ wird 100-mal häufiger verwendet. „Spielte eine entscheidende Rolle“ kommt 70-mal häufiger vor. Diese Formulierungen sind ein Beispiel dafür, wie wir KI-Texte intuitiv erkennen könnten, doch das Modell verfolgt einen ganzheitlichen Ansatz und berücksichtigt den gesamten Kontext des Dokuments.

Insgesamt scheint der Schreibstil von Claude eine praktische Funktion für diejenigen zu sein, die nicht bei jeder Eingabeaufforderung „kein Geschwätz“ hinzufügen möchten, aber es ist kein Werkzeug, um KI-Ausgaben unauffindbar zu machen.

Probieren Sie das KI-Erkennungstool von Pangram aus, um die Ausgaben von Claude und anderen Modellen zu überprüfen.