Wir sind der Ansicht, dass die Erkennung künstlicher Intelligenz auch angesichts leistungsstarker Pioniermodelle wie „Claude Mythos Preview“ weiterhin praktikabel sein wird.

Wenn ein Autor – sei es ein Mensch oder ein LLM – einen Text verfasst, trifft er dabei Entscheidungen. Selbst bei einem Text von nur 150 Wörtern trifft ein Autor möglicherweise Hunderttausende bewusster und unbewusster Entscheidungen hinsichtlich Wortwahl, Wortstellung, Zeichensetzung und Satzbau.

Im Grunde genommen ist die Erkennung von KI ein Problem der Autorenidentifizierung. Ganz gleich, wie ausgefeilt ein bestimmtes Modell auch sein mag – es ist immer noch ein einzelner Autor, der Entscheidungen trifft. Diese Entscheidungen unterliegen zudem Einschränkungen: Assistenzmodelle müssen Texte produzieren, die hilfreich, klar und gut lesbar sind. Diese Eigenschaften werden dem Modell durch überwachtes Fine-Tuning und bestärkendes Lernen eingeprägt.

Selbst das ausgefeilteste Frontier-Modell ist immer noch ein einzelnes strukturiertes System und weist erkennbare Verhaltensmuster und Eigenheiten auf. Diese Modelle generieren zudem große Mengen an Text, was bedeutet, dass wir zahlreiche Gelegenheiten haben, zu erkennen, welche Art von Entscheidungen sie tendenziell treffen.

Manchmal wird das Problem so dargestellt, als würde „der statistische Abstand zwischen menschlichen und KI-Texten immer kleiner werden“. Dies ist eine falsche Darstellung dessen, was Erkennung leistet. KI schreibt bereits gut genug, um für das ungeübte Auge als menschlich zu gelten, wie wir in einem viralen NYT-Quiz gesehen haben . Aber die von einem Modell erzeugten Texte werden, wie die Werke jedes einzelnen Autors, im Einbettungsraum immer in Clustern angeordnet sein. Deshalb glauben wir, dass KI-Erkennung auch dann weiterhin praktikabel sein wird, wenn die Modelle immer leistungsfähiger werden.

Die Ergebnisse sehen vielversprechend aus. Das aktuelle Pangram-Modell konnte die in der Systemkarte veröffentlichte Kurzgeschichte „Mythos Preview“ korrekt erkennen.

Solange es sich bei Modellen um trainierte Systeme handelt, glauben wir, dass die Erkennung ein lösbares Problem bleiben wird.