Wie gut funktioniert Pangram bei Humanizern? (Aktualisiert im August 2025)

Wie gut funktioniert Pangram bei Humanizern? (Aktualisiert im August 2025)

Die KI-Erkennung wird oft als „Wettrüsten“ zwischen großen Sprachmodellen, Detektoren und „Humanisierern“ beschrieben. Letztere sind eine Klasse von Online-Tools, die dazu dienen, KI-generierte Texte zu verschleiern und absichtlich Fehler einzufügen, damit der resultierende Text menschlich klingt.

Bei Pangram sind wir stets bemüht, der Zeit voraus zu sein und auf die neuesten technologischen Fortschritte sowohl bei neuen Modellen als auch bei Humanizern zu reagieren. So können wir eine KI-Erkennung entwickeln, die zuverlässig bleibt.

Im Januar 2025 veröffentlichten wir eine Aktualisierung unseres technischen Berichts, in dem wir 19 verschiedene Humanisierungs- und Paraphrasierungs-Tools geprüft haben. Die wichtigsten Ergebnisse waren:

• Pangram ist robust gegenüber Humanisierern und Paraphrasierern.
• Einige Humanisierer fügen manuell Fehler in der Zeichensetzung und im Abstand ein und ersetzen Synonyme eins zu eins.
• Andere Humanisierer sind selbst fein abgestimmte LLMs, die darauf trainiert sind, den Text in einem menschlichen Stil zu paraphrasieren.
• Je lesbarer/flüssiger der Humanizer-Text ist, desto wahrscheinlicher ist es, dass er von Pangram erkannt wird.
• Mit anderen Worten: Die „guten“ Humanisierer in Bezug auf die Sprachgewandtheit sind leichter zu erkennen, während die „schlechten“ Humanisierer weniger leicht zu erkennen sind.

Die Humanizer-Landschaft entwickelt sich jedoch rasant weiter, weshalb wir aktualisierte Zahlen zu unserem neuesten Humanizer-Benchmark veröffentlichen wollten.

Aktualisierte Humanizer-Ergebnisse von Pangram

Pangram erzielt bei allen namhaften Humanizern, die wir getestet haben, eine Leistung von über 90 %.

Wie schneidet Pangram im Vergleich zu anderen KI-Detektoren bei humanisierten KI-Texten ab?

In Russell et. al. wird Pangram mit GPTZero und mehreren Open-Source-Methoden für humanisierten Text verglichen. Das beste Modell von Pangram erreicht eine Genauigkeit von 97 % bei humanisiertem Text, verglichen mit 46 % bei GPTZero, 23 % bei FastDetectGPT und 7 % bei Binoculars.

Die Leistung von Pangram bei humanisiertem Text im Vergleich zu anderen Detektoren

Eine kürzlich durchgeführte Studie von Jabarian und Imas ergab, dass Pangram der einzige Detektor unter vier kommerziellen Detektoren ist, dessen Leistung gegenüber Humanisierern robust ist:

Bei längeren Passagen erkennt Pangram fast 100 % der KI-generierten Texte. Die FNR steigt mit kürzer werdenden Passagen etwas an, bleibt aber dennoch niedrig. Die anderen Detektoren sind weniger robust gegenüber Humanisierern. Die FNR für Originality.AI steigt bei längeren Texten auf etwa 0,05, kann aber bei kürzeren Texten je nach Genre und LLM-Modell bis zu 0,21 erreichen. GPTZero verliert weitgehend seine Fähigkeit, KI-generierte Texte zu erkennen, mit FNR-Werten von etwa 0,50 und mehr in den meisten Genres und LLM-Modellen. RoBERTa schneidet ähnlich schlecht ab, mit durchweg hohen FNR-Werten.

Wie kann man erkennen, ob ein Text humanisiert wurde?

Es gibt mehrere Möglichkeiten, wie Sie mit bloßem Auge erkennen können, dass ein Text durch einen Humanizer gelaufen ist.

Gequälte Sätze

Eine der einfachsten Methoden, um einen Humanizer zu erkennen, ist die Suche nach „gequälten Phrasen“, also unpassenden Synonymersetzungen, die Plagiate verschleiern sollen. Word-Spinner-Tools wie Grammarly und Quillbot verwenden diese Algorithmen zur Synonymersetzung bereits seit jeher, noch vor dem Aufkommen der KI, um Plagiate zu verschleiern.

Beispiele für solche unglücklichen Formulierungen wären „gefälschtes Bewusstsein” anstelle von „künstliche Intelligenz” oder „Brustgefahr” anstelle von „Brustkrebs”. Letztes Jahr hörten wir von einem lustigen Fall, in dem in einem Schüleraufsatz „Martin Luther Ruler, Jr.” anstelle von „Martin Luther King, Jr.” auftauchte.

Es ist wichtig, vorsichtig mit der Verwendung von holprigen Formulierungen als einzigem Mittel zur Erkennung von humanisiertem KI-Text zu sein, da holprige Formulierungen auch häufig in nicht-muttersprachlichen englischen Texten vorkommen, wenn Nicht-Muttersprachler die direkte Bedeutung oder die typische Verwendung bestimmter Wörter falsch verwenden oder falsch interpretieren.

Unnatürliche Abstandsfehler

Humanisierer versuchen oft, den Tokenizer der KI-Detektoren zu täuschen, indem sie Leerzeichen hinzufügen oder entfernen. Besonders häufig werden Leerzeichen zwischen Sätzen entfernt.

Wiederholte Phrasen

Humanisierter KI-Text weist immer noch dieselben sich wiederholenden Phrasen auf wie nicht humanisierter KI-Text. Es ist besonders aussagekräftig, dass ein Text von einem Humanisierer stammt, wenn dieselbe holprige Phrase zweimal im selben Dokument vorkommt, da dies ein Hinweis darauf ist, dass der Humanisierer systematisch dieselben Synonymersetzungen anwendet.

Nicht standardmäßige Zeichen

Humanizer verwenden in der Regel auch nicht standardmäßige Unicode-Zeichen, um die Tokenizer von KI-Detektoren zu täuschen. Ein Beispiel hierfür ist ein beliebter Humanizer, der „U+2009” verwendet, das Unicode-Zeichen für „dünnes Leerzeichen” anstelle eines normalen Leerzeichens. Wir empfehlen diese Website https://www.soscisurvey.de/tools/view-chars.php, auf der Sie alle nicht druckbaren Zeichen sehen können, die in kopierten und eingefügten Zeichenfolgen versteckt sein können.

Beispiel für nicht druckbare Zeichen in humanisiertem Text

Werkzeuge für den Schreibprozess

Mit der neuen Funktion „Writing Playback” von Pangram in Google Docs können Sie auch überprüfen, ob ein wesentlicher Teil des Textes in einem Google-Dokument kopiert und eingefügt wurde, anstatt manuell eingegeben zu werden. Eine ausführlichere Erklärung zur KI-Erkennung in Google Docs finden Sie hier.

Beispiel für die Wiedergabe von Schriftzeichen mit Kopieren und Einfügen

Warum ist Pangram bei humanisierten KI-Texten nicht 100 % genau?

Es gibt mehrere Gründe, warum Pangram kein perfekter Detektor für humanisierte KI-Texte ist.

1. Pangram ist nicht bereit, Kompromisse bei seiner Falsch-Positiv-Rate einzugehen. Einige unserer internen Modelle sind in der Lage, Humanizer mit nahezu perfekter Genauigkeit zu erkennen, weisen jedoch höhere Falsch-Positiv-Raten auf. Wir liefern diese Modelle nicht aus, da es für uns wichtiger ist, dass echte menschliche Texte niemals als KI markiert werden, als alle Humanizer-Ausgaben zu erfassen.

2. Text von extrem schlechter Qualität („Junk-Text“) ist mit bloßem Auge leicht zu erkennen. In den meisten Fällen, in denen Pangram keine humanisierte Ausgabe erkennt, ist der Text so stark verfälscht und verschleiert, dass er kaum noch Ähnlichkeit mit Englisch hat. Diese Fälle sind mit bloßem Auge leicht zu erkennen, aber algorithmisch schwer zu erfassen, da es unendlich viele Möglichkeiten gibt, Kauderwelsch zu erzeugen. Wir würden lieber Unsinn ausklammern, als zu versuchen, ihn zu erkennen, da es nicht einmal sinnvoll ist, zu versuchen, menschlichen Unsinn von humanisiertem Unsinn zu unterscheiden.

Kann ich davon ausgehen, dass Pangram seine Humanizer-Leistung im Laufe der Zeit verbessern wird?

Ja, die Erkennung von Humanizern ist ein aktives Forschungsgebiet für Pangram, und wir hoffen, die Eigenschaften dieser Humanizer weiterhin charakterisieren und unsere Forschungsergebnisse zur Erkennung von Humanizer-Ausgaben veröffentlichen zu können. Wenn Pangram als zuverlässiges Instrument für akademische Integrität angesehen werden soll, müssen wir in der Lage sein, sowohl Texte zu erkennen, die mit diesen Betrugswerkzeugen erstellt wurden, als auch Texte, die direkt aus großen Sprachmodellen kopiert und eingefügt wurden.

Probieren Sie den KI-Detektor von Pangram aus, um Ihre eigenen Dokumente mit den Ergebnissen von Humanizer zu vergleichen.