Eine unabhängige Studie belegt, dass Pangram der leistungsstärkste KI-Detektor ist

Eine unabhängige Studie belegt, dass Pangram der zuverlässigste KI-Detektor ist

Forscher der University of Houston, der UC Berkeley, der UC Irvine und des Start-ups Esperanto AI haben herausgefunden, dass Pangram unter einer Vielzahl kommerzieller und Open-Source-Methoden der robusteste KI-Textdetektor ist. In der Veröffentlichung mit dem Titel „Esperanto: Evaluating Synthesized Phrases to Enhance Robustness in AI Detection for Text Origination“ untersuchten die Forscher die Auswirkungen von Sprachübersetzungen auf die Leistungsfähigkeit von KI-Detektoren.

Ausnutzung von KI-Detektoren mithilfe von Übersetzungsprogrammen

Es ist eine bekannte Lücke in der KI-Erkennung, dass ein Angreifer (oder einfach ein cleverer, unter Zeitdruck stehender Student) KI-Erkennungsprogramme umgehen kann, indem er KI-Text über Google Translate in eine Fremdsprache übersetzt und diesen Text anschließend wieder ins Englische zurückübersetzt. Bei Pangram bezeichnen wir diesen Angriff intern als „Doppelübersetzung“, während Forscher ihn als „Rückübersetzung“ bezeichnen. Hier ist ein Beispiel für eine doppelte Übersetzung. Wir bitten ChatGPT, einen Text für uns zu verfassen. Wir übersetzen den Text zunächst ins Japanische und dann wieder zurück ins Englische. Wir stellen fest, dass sich einige Formulierungen geändert haben, da Übersetzungssoftware nicht perfekt ist und es oft mehrere Möglichkeiten gibt, dasselbe auszudrücken. Dies hat einen ähnlichen Effekt wie ein Paraphrasierungs-Tool wie Quillbot.

Von ChatGPT generierter Text Zweimal übersetzter Text Ein Beispiel für doppelte Übersetzung

Viele unserer Mitbewerber sind gegen diesen Exploit nicht gewappnet. Oben sehen Sie einen der gängigsten KI-Detektoren von Mitbewerbern, die derzeit auf dem Markt im Einsatz sind. Wir stellen fest, dass das Modell KI direkt aus ChatGPT erkennen kann, aber sobald der Text doppelt übersetzt wird, prognostiziert es nur noch eine KI-Wahrscheinlichkeit von 15 %.

Ergebnisse von GPTZero Ein beliebtes Konkurrenzprodukt klassifiziert den ursprünglichen KI-Text korrekt, stuft jedoch den doppelt übersetzten Text fälschlicherweise als von Menschen verfasst ein.

Pangram ist jedoch in der Lage, sowohl den ursprünglichen ChatGPT-Text als auch den doppelt übersetzten Text mit einer Wahrscheinlichkeit von 99,99 % als KI-Text zu identifizieren. Wir können nicht nur vorhersagen, dass es sich um einen KI-generierten Text handelt, sondern auch mit großer Sicherheit feststellen, dass GPT-4 die ursprüngliche Quelle war. Die Forscher machten sich daran, dieses Phänomen allgemein und in großem Maßstab zu untersuchen.

Pangram-Ergebnisse Pangram identifiziert sowohl den Originaltext als auch den doppelt übersetzten Text korrekt als KI-generiert.

Untersuchung der Auswirkungen der Rückübersetzung auf 720.000 Dokumente

Ein einziges Beispiel reicht nicht aus, um zu beweisen, dass unser Detektor robust ist und andere nicht. Im Rahmen der Forschungsstudie sammelten die Forscher Tausende von Nachrichtenartikeln, Abstracts wissenschaftlicher Arbeiten, Reddit-Beiträgen und Produktbewertungen, bei denen bestätigt wurde, dass sie von Menschen verfasst wurden. Anschließend generierten sie mehrere KI-Beispiele unter Verwendung von GPT-3.5-Turbo, LLaMA 3, Mistral, Phi3 und Yi.

Insgesamt sind viele der Open-Source-Methoden und kommerziellen Erkennungsprogramme bereits vor dem Einsatz eines Übersetzungsangriffs völlig wirkungslos.

Zunächst wurde ein Schwellenwert festgelegt: Das bedeutet, dass ein prozentualer Grenzwert gewählt wurde, ab dem ein Dokument als KI-Ergebnis eingestuft wird. Die meisten KI-Detektoren geben als Endergebnis einen Prozentsatz an. Um alle Detektoren auf eine vergleichbare Basis zu stellen, wurden die Schwellenwerte so gewählt, dass jedes Modell eine Falsch-Positiv-Rate von 1 % aufweist. Anschließend lässt sich die Genauigkeit der Detektoren als Anteil der echten Treffer vergleichen: Wie viele KI-Beispiele kann jeder Detektor bei diesem Schwellenwert erkennen?

Viele der anderen in der Studie untersuchten Methoden versagen völlig bei der Erkennung von KI-Inhalten. So erreichen beispielsweise ZeroGPT und GPTZero bei einigen Domänen bei keinem Schwellenwert auch nur eine Falsch-Positiv-Rate von 1 %, und viel zitierte wissenschaftliche Arbeiten wie RADAR und LLMDet weisen eine Genauigkeit von weniger als 50 % auf.

Die vorgeschlagene Kennzahl zur Leistungsbewertung besteht darin, den TPR bei einer FPR von 1 % zu messen: Das bedeutet, dass bei einer konstanten Falsch-Positiv-Rate von 1 % ermittelt wird, wie oft das Modell KI-generierten Text erkennen kann. ZeroGPT erreicht in den meisten Bereichen bei keinem Schwellenwert eine Falsch-Positiv-Rate von 1 %, und viel zitierte wissenschaftliche Arbeiten wie RADAR und LLMDet erzielen bei dieser Kennzahl Werte von deutlich unter 50 %.

Pangram erreicht bei einer Falsch-Positiv-Rate von 1 % eine Erkennungsrate von über 96 % in allen Bereichen und erzielt sogar 85 % auf dem anspruchsvollen Bewertungsdatensatz, der Bewertungen enthält, die nur 40 bis 50 Wörter lang sind (was deutlich unter unserer empfohlenen Wortzahlgrenze für die Erkennung von KI in kommerziellen Anwendungen liegt).

Nach einem doppelten Übersetzungsangriff versagen viele der Detektoren vollständig. GPTZero beispielsweise sinkt im Nachrichtenbereich von 97 % auf nur noch 42 % und im Bereich der Rezensionen von 65 % auf 9 %. Die Forscher kommen zu dem Schluss: „Die Ergebnisse für GPTZero und ZeroGPT deuten auf eine mangelnde Robustheit gegenüber Rückübersetzungstechniken hin … Pangram weist insbesondere bei längeren Texten ein gewisses Maß an Robustheit auf.“

Die vollständigen Ergebnisse sind hier wiedergegeben. Pangram schneidet in allen Kategorien überdurchschnittlich gut ab.

Ergebnistabelle zum Vergleich von KI-Detektoren Ergebnistabelle aus der Esperanto-Veröffentlichung, die die Robustheit von Pangram zeigt

Fazit

Diese Untersuchung untermauert erneut unsere Behauptung, dass Pangram die einzige KI-Erkennungssoftware auf dem Markt ist, die zuverlässig genug funktioniert, um in akademischen und kommerziellen Umgebungen eingesetzt zu werden, und die sich nicht durch Tricks wie doppelte Übersetzung umgehen lässt.

Das ist kein Zufall und auch kein Zufall. Die Robustheit von Pangram ist ein Beweis für ein leistungsstarkes Modell, das generalisieren kann und sich auf umfangreiche Datensätze sowie unseren gezielten Ansatz des aktiven Lernens stützt. Zwar kann jeder ein KI-Erkennungswerkzeug entwickeln, das manchmal oder sogar meistens funktioniert, doch ist unser skalierbarer Ansatz der einzige Weg, um eine zuverlässige, konsistente Genauigkeit zu erzielen, die auch dann nicht völlig versagt, wenn der Text modifiziert oder verändert wird.

Wir arbeiten kontinuierlich daran, die Leistungsfähigkeit und Robustheit unseres KI-Erkennungsmodells zu verbessern. Wir halten uns über die neuesten Forschungsergebnisse im Bereich des adversarialen maschinellen Lernens auf dem Laufenden und testen unser eigenes Modell ständig auf mögliche Angriffe und Umgehungsversuche.

Zu diesem Thema gibt es bald mehr!