Neueste Erkenntnisse aus der KI-Erkennungsforschung

Pangram etabliert sich weiterhin als Autorität bei der Erkennung von KI-generierten Inhalten. Unser branchenführender Ansatz und unser Modell tauchen regelmäßig in den neuesten Studien im Bereich der KI-Erkennung auf. Deshalb möchten wir heute einige aktuelle Studien und deren Ergebnisse vorstellen!

Studie 1: Personen, die ChatGPT häufig für Schreibaufgaben verwenden, sind genaue und zuverlässige Detektoren für KI-generierte Texte.

Studienübersicht

In dieser Arbeit untersuchen Forscher der University of Maryland die Erkennung von KI-generierten Texten durch Menschen. Sie beauftragen Annotatoren mit unterschiedlichen Kenntnissen über LLMs, 300 Sachtexte zu lesen und zu versuchen, diese als von Menschen geschrieben oder KI-generiert zu klassifizieren. Sie stellen fest, dass Personen, die LLMs häufig für Schreibaufgaben verwenden, auch ohne Training hervorragend darin sind, KI-generierte Texte zu erkennen.

Was es über Pangram aussagt

Die Studie vergleicht die menschlichen Fähigkeiten mit denen von „automatischen Detektoren“ (auch bekannt als Pangram). Sehen Sie sich die Ergebnisse an:

Das Humanizer-Modell von Pangram (mehr dazu weiter unten) und Pangram waren mit Abstand die besten Detektoren und erkannten 100 % aller KI-generierten Texte. Beide Modelle zeigten auch eine hohe Robustheit gegenüber Paraphrasierungen und Humanisierungen und erzielten eine Erkennungsrate von 90 %.

Weitere Informationen:

Die veröffentlichte Studie finden Sie hier.

Studie 2: Herausforderung bei der domänenübergreifenden Erkennung maschinell generierter Texte

Studienübersicht

In dieser Studie wollten Forscher der University of Pennsylvania herausfinden, ob Detektoren auf eine feste Reihe von KI-Modellen, Dokumenttypen und „adversarial attacks” (Versuche, KI-Texte schwerer erkennbar zu machen) angewendet werden können. Sie fanden heraus, dass „Detektoren in der Lage sind, Texte aus vielen Bereichen und Modellen gleichzeitig zuverlässig zu erkennen”. Wenn Ihnen jemand sagt, dass KI-Detektoren nicht funktionieren, verweisen Sie ihn einfach auf diese Studie!

Was es über Pangram aussagt

Da ist Pangram, ganz oben! Wir haben den ersten Platz belegt, zusammen mit einem Detektor eines Forschungsteams von Leidos, der speziell für diese Studie entwickelt und trainiert wurde.

Weitere Informationen:

Den vollständigen Blogbeitrag zu diesem Thema finden Sie hier, und die veröffentlichte Studie können Sie hier einsehen !

Studie 3: ESPERANTO: Bewertung synthetisierter Phrasen zur Verbesserung der Robustheit bei der KI-Erkennung für die Texterstellung

Studienübersicht

Diese Studie befasst sich mit einer Angriffsmethode namens „Back-Translation“, bei der Angreifer einen Text in mehrere Sprachen übersetzen, bevor sie ihn wieder ins Englische zurückübersetzen, um der KI-Erkennung zu entgehen. Sie haben herausgefunden, dass sie die semantische Bedeutung des Textes beibehalten und gleichzeitig die Erkennbarkeit von KI-Text (bei den meisten Detektoren 😄) erheblich reduzieren können.

Was es über Pangram aussagt

Wie Sie sehen können, weist Pangram in allen Kategorien die beste Robustheit auf. Während die Rückübersetzung die Erkennungsrate von Mitbewerbern manchmal um die Hälfte oder fast um das Viertel reduzieren kann, bleibt Pangram robust.

Weitere Informationen:

Lesen Sie hier unseren ersten Blogbeitrag und hier die veröffentlichte Studie !

Bonus: Pangrams eigene Forschung

Wenn Sie mehr über die internen Forschungsarbeiten von Pangram erfahren möchten, mit denen wir unser Modell verbessern, finden Sie hier weitere Informationen zu diesen Studien:

DAMAGE: Erkennung von gegnerisch modifiziertem, KI-generiertem Text

Technischer Bericht zum Pangram-KI-generierten Textklassifikator

Engagement für die Forschung

Wir bei Pangram haben uns zum Ziel gesetzt, die Forschung in diesem Bereich voranzutreiben. Daher bieten wir Wissenschaftlern, die sich für die Erforschung der KI-Erkennung mit Pangram interessieren, kostenlosen und unbegrenzten Zugang. Möchten Sie mehr erfahren? Kontaktieren Sie uns unter info@pangram.com.