Neueste Erkenntnisse aus der Forschung zur KI-Erkennung

Pangram etabliert sich zunehmend als führende Instanz bei der Erkennung von KI-generierten Inhalten. Unser branchenführender Ansatz und unser Modell finden regelmäßig Erwähnung in den neuesten Studien zum Thema KI-Erkennung. Deshalb möchten wir heute einige aktuelle Studien und deren Ergebnisse vorstellen!

Studie 1: Personen, die ChatGPT häufig für Schreibaufgaben nutzen, können KI-generierte Texte zuverlässig und treffsicher erkennen

Studienübersicht

In dieser Studie untersuchen Forscher der University of Maryland, wie Menschen von KI generierte Texte erkennen. Sie beauftragen Korrekturleser mit unterschiedlichem Vertrautheitsgrad mit großen Sprachmodellen (LLMs), 300 Sachartikel zu lesen und zu versuchen, diese als von Menschen verfasst oder von KI generiert einzustufen. Sie stellen fest, dass Personen, die große Sprachmodelle häufig für Schreibaufgaben nutzen, selbst ohne Training besonders gut darin sind, von KI generierte Texte zu erkennen.

Was das über Pangram aussagt

Die Studie vergleicht die menschliche Leistungsfähigkeit mit der von „automatischen Detektoren“ (auch bekannt als Pangram). Sehen Sie sich die Ergebnisse an:

Das „Humanizer“-Modell von Pangram (mehr dazu weiter unten) und Pangram selbst waren mit Abstand die besten Erkennungsmodelle und erkannten 100 % aller KI-generierten Texte. Beide Modelle zeigten zudem eine hohe Robustheit gegenüber Umformulierungen und Humanisierung und erzielten dabei eine Erkennungsrate von 90 %.

Weitere Informationen:

Die veröffentlichte Studie finden Sie hier

Studie 2: Wettbewerb zur Erkennung maschinell generierter Texte über verschiedene Domänen hinweg

Studienübersicht

In dieser Studie wollten Forscher der University of Pennsylvania untersuchen, ob Detektoren auf eine feste Auswahl von KI-Modellen, Dokumenttypen und „adversarial attacks“ (Versuche, KI-Text schwerer erkennbar zu machen) übertragen werden können. Sie stellen fest, dass „Detektoren in der Lage sind, Texte aus vielen verschiedenen Bereichen und Modellen gleichzeitig zuverlässig zu erkennen“. Wenn Ihnen jemand erzählt, dass KI-Detektoren nicht funktionieren, verweisen Sie ihn einfach auf diese Studie!

Was das über Pangram aussagt

Da ist Pangram, ganz oben! Wir haben den ersten Platz belegt, punktgleich mit einem Detektor eines Forschungsteams von Leidos, der speziell für diese Studie entwickelt und trainiert wurde.

Weitere Informationen:

Den vollständigen Blogbeitrag zu diesem Thema finden Sie hier, und die veröffentlichte Studie können Sie hier einsehen !

Studie 3: ESPERANTO: Bewertung synthetisierter Phrasen zur Verbesserung der Robustheit bei der KI-Erkennung der Textquelle

Studienübersicht

Diese Studie befasst sich mit einer Angriffsmethode namens „Back-Translation“, bei der Angreifer einen Text in mehrere Sprachen übersetzen und anschließend wieder ins Englische zurückübersetzen, um die Erkennung durch KI zu umgehen. Sie stellen fest, dass sie die semantische Bedeutung des Textes beibehalten können, während die Erkennbarkeit des KI-Textes (bei den meisten Detektoren 😄) deutlich verringert wird.

Was das über Pangram aussagt

Wie Sie sehen können, weist Pangram in allen Kategorien die beste Robustheit auf. Während die Rückübersetzung die Erkennungsrate der Konkurrenz manchmal auf die Hälfte oder fast ein Viertel sinken lässt, bleibt Pangram robust.

Weitere Informationen:

Lesen Sie hier unseren ersten Blogbeitrag und hier die veröffentlichte Studie !

Bonus: Pangrams eigene Forschung

Wenn Sie mehr über die internen Forschungsarbeiten erfahren möchten, die Pangram durchführt, um unser Modell zu verbessern, finden Sie hier weitere Informationen zu diesen Studien:

DAMAGE: Erkennung von durch Adversarial-Angriffe manipuliertem, KI-generiertem Text

Technischer Bericht zum Pangram-Klassifikator für KI-generierte Texte

Engagement für die Forschung

Wir bei Pangram setzen uns dafür ein, die Forschung auf diesem Gebiet voranzutreiben, und bieten daher Wissenschaftlern, die sich für die Erforschung der KI-Erkennung mit Pangram interessieren, kostenlosen und uneingeschränkten Zugang. Möchten Sie mehr erfahren? Kontaktieren Sie uns unter info@pangram.com