Wie gut schneidet Pangram bei Humanizern ab? (Aktualisiert im August 2025)

Wie gut schneidet Pangram bei Humanizern ab? (Aktualisiert im August 2025)

Die KI-Erkennung wird oft als „Wettrüsten“ zwischen großen Sprachmodellen, Erkennungsprogrammen und „Humanizern“ beschrieben – einer Kategorie von Online-Tools, die darauf abzielen, KI-generierte Texte zu verschleiern und absichtlich Fehler einzufügen, damit der resultierende Text menschlich klingt.

Bei Pangram sind wir stets bestrebt, der Zeit voraus zu sein und auf die neuesten technologischen Fortschritte sowohl bei neuen Modellen als auch bei Humanizern zu reagieren. So können wir KI-Erkennungssysteme entwickeln, die stets zuverlässig funktionieren.

Im Januar 2025 haben wir eine Aktualisierung unseres technischen Berichts veröffentlicht, in dem wir 19 verschiedene Humanizer- und Paraphrasierungstools geprüft haben. Die wichtigsten Ergebnisse waren:

• Pangram ist robust gegenüber Humanisierern und Paraphrasierern
• Manche Humanizer fügen manuell Fehler bei der Zeichensetzung und der Interpunktion ein und ersetzen Synonyme eins zu eins.
• Andere Humanizer sind selbst feinabgestimmte LLMs, die darauf trainiert sind, den Text in einem menschlichen Stil umzuformulieren.
• Je besser lesbar bzw. flüssiger der durch den Humanizer bearbeitete Text ist, desto wahrscheinlicher ist es, dass er von Pangram erkannt wird.
• Mit anderen Worten: Die „guten“ Humanisierer sind im Hinblick auf die Sprachflüssigkeit leichter zu erkennen, während die „schlechten“ Humanisierer weniger leicht zu erkennen sind.

Die Humanizer-Landschaft entwickelt sich jedoch rasant weiter, weshalb wir aktualisierte Zahlen zu unserem neuesten Humanizer-Benchmark veröffentlichen wollten.

Pangrams aktualisierte Humanizer-Ergebnisse

Pangram erzielt bei allen namhaften Humanisierern, die wir getestet haben, eine Leistung von über 90 %.

Wie schneidet Pangram im Vergleich zu anderen KI-Detektoren bei der Erkennung von KI-Text ab, der wie von Menschen verfasst wirkt?

In der Studie von Russell et al. wird Pangram anhand von humanisiertem Text mit GPTZero und mehreren Open-Source-Methoden verglichen. Das beste Modell von Pangram erreicht bei humanisiertem Text eine Genauigkeit von 97 %, während GPTZero bei 46 %, FastDetectGPT bei 23 % und Binoculars bei 7 % liegen.

Die Leistung von Pangram bei der Erkennung von humanisiertem Text im Vergleich zu anderen Detektoren

Eine ganz aktuelle Studie von Jabarian und Imas hat ergeben, dass Pangram der einzige Detektor unter vier kommerziellen Detektoren ist, dessen Leistung gegenüber Humanisierern robust ist:

Bei längeren Textabschnitten erkennt Pangram fast 100 % der KI-generierten Texte. Die FNR steigt zwar leicht an, wenn die Textabschnitte kürzer werden, bleibt aber dennoch niedrig. Die anderen Erkennungsprogramme sind gegenüber Humanisierern weniger robust. Der FNR-Wert für Originality.AI steigt bei längeren Texten auf etwa 0,05, kann bei kürzeren Texten jedoch je nach Genre und LLM-Modell bis zu 0,21 erreichen. GPTZero verliert weitgehend seine Fähigkeit, KI-generierten Text zu erkennen, mit FNR-Werten von etwa 0,50 und darüber bei den meisten Genres und LLM-Modellen. RoBERTa schneidet durchweg ähnlich schlecht ab und weist durchgehend hohe FNR-Werte auf.

Woran erkennt man, ob ein Text „humanisiert“ wurde?

Es gibt mehrere Anzeichen, an denen man auf den ersten Blick erkennen kann, dass ein Text durch einen Humanizer gelaufen ist.

Gezwungene Formulierungen

Eine der einfachsten Methoden, einen „Humanizer“ zu erkennen, besteht darin, nach „holprigen Formulierungen“ Ausschau zu halten – also nach unpassenden Synonymersetzungen, die dazu dienen sollen, Plagiate zu verschleiern. Tools zur Textumformulierung wie Grammarly und Quillbot nutzten diese Algorithmen zur Synonymersetzung bereits vor dem Aufkommen der KI, um Plagiate zu verschleiern.

Beispiele für holprige Formulierungen wären „gefälschtes Bewusstsein“ anstelle von „künstliche Intelligenz“ oder „Gefahr im Busen“ anstelle von „Brustkrebs“. Letztes Jahr hörten wir von einem lustigen Fall, bei dem in einem Schüleraufsatz „Martin Luther Ruler, Jr.“ anstelle von „Martin Luther King, Jr.“ auftauchte.

Man sollte sich davor hüten, umständliche Formulierungen als einziges Kriterium für die Erkennung von durch KI erstellten Texten heranzuziehen, da solche Formulierungen häufig auch in Texten von Nicht-Muttersprachlern vorkommen, wenn diese die wörtliche Bedeutung oder die typische Verwendung bestimmter Wörter falsch anwenden oder missverstehen.

Fehler bei unnatürlichen Abständen

Humanizer versuchen oft, den Tokenizer der KI-Detektoren zu täuschen, indem sie Leerzeichen einfügen oder entfernen. Besonders häufig werden Leerzeichen zwischen Sätzen entfernt.

Wiederkehrende Formulierungen

Auch humanisierter KI-Text weist dieselben sich wiederholenden Formulierungen auf wie nicht humanisierter KI-Text. Es ist besonders aufschlussreich, dass der Text von einem Humanizer stammt, wenn dieselbe holprige Formulierung zweimal im selben Dokument vorkommt, da dies ein Hinweis darauf ist, dass der Humanizer systematisch dieselben Synonymersetzungen vornimmt.

Sonderzeichen

Humanizer verwenden in der Regel auch nicht standardmäßige Unicode-Zeichen, um die Tokenizer von KI-Detektoren ebenfalls zu täuschen. Ein Beispiel hierfür ist ein beliebter Humanizer, der „U+2009“ verwendet – das Unicode-Zeichen für „dünnen Abstand“ – anstelle eines normalen Leerzeichens. Wir empfehlen diese Website https://www.soscisurvey.de/tools/view-chars.php, auf der Sie alle nicht druckbaren Zeichen sehen können, die in kopierten und eingefügten Zeichenfolgen versteckt sein könnten.

Beispiel für nicht druckbare Zeichen in humanisiertem Text

Hilfsmittel für den Schreibprozess

Mit der neuen Funktion „Writing Playback“ von Pangram in Google Docs können Sie außerdem überprüfen, ob ein wesentlicher Teil des Textes in einem Google-Dokument kopiert und eingefügt wurde, anstatt manuell getippt zu sein. Eine ausführlichere Erklärung zur KI-Erkennung in Google Docs finden Sie hier.

Beispiel für die Wiedergabe von Text, das das Kopieren und Einfügen veranschaulicht

Warum ist Pangram bei humanisiertem KI-Text nicht zu 100 % genau?

Es gibt mehrere Gründe, warum Pangram kein perfekter Detektor für von KI generierte Texte ist.

1. Pangram ist nicht bereit, bei der Falsch-Positiv-Rate Kompromisse einzugehen. Einige unserer internen Modelle sind zwar in der Lage, Humanizer mit nahezu perfekter Genauigkeit zu erkennen, weisen jedoch höhere Falsch-Positiv-Raten auf. Wir setzen diese Modelle nicht ein, da es uns wichtiger ist, dass echte menschliche Texte niemals als KI-Text markiert werden, als alle Humanizer-Ergebnisse zu erfassen.

2. „Junk“-Text von extrem geringer Qualität lässt sich mit bloßem Auge leicht erkennen. In den meisten Fällen, in denen Pangram humanisierte Ausgaben nicht erkennt, ist der Text so stark verzerrt und verschleiert, dass er kaum noch an Englisch erinnert. Diese Fälle sind mit bloßem Auge leicht zu erkennen, lassen sich algorithmisch jedoch nur schwer erfassen, da es unendlich viele Möglichkeiten gibt, Kauderwelsch zu erzeugen. Wir würden Unsinn lieber aus dem Umfang herausnehmen, als zu versuchen, ihn zu erkennen, da es nicht einmal sinnvoll ist, zu versuchen, von Menschen erzeugten Unsinn von durch Humanizer erzeugtem Unsinn zu unterscheiden.

Kann ich davon ausgehen, dass Pangram die Leistung seines Humanizers im Laufe der Zeit verbessern wird?

Ja, die Erkennung von Humanizer-Texten ist ein aktives Forschungsgebiet bei Pangram, und wir hoffen, die Eigenschaften dieser Humanizer weiter zu charakterisieren und unsere Forschungsergebnisse zur Erkennung von Humanizer-Ausgaben zu veröffentlichen. Wenn Pangram als zuverlässiges Instrument für die akademische Integrität gelten soll, müssen wir in der Lage sein, sowohl Texte zu erkennen, die von diesen Betrugswerkzeugen erzeugt wurden, als auch Texte, die direkt aus großen Sprachmodellen kopiert und eingefügt wurden.

Probieren Sie den KI-Detektor von Pangram aus, um Ihre eigenen Dokumente mit den Ergebnissen von Humanizer zu vergleichen.