Nein, Pangram stützt sich bei seinen Modellvorhersagen nicht auf Perplexity und Burstiness. Pangram ist eine Art neuronales Netzwerk, das als Klassifikationsmodell bezeichnet wird. Pangram wird anhand von „synthetischen Abbildern“ der am schwersten zu klassifizierenden Dokumente trainiert und anschließend immer wieder neu trainiert. Dadurch lässt es sich an neue Modelle anpassen, und je mehr Erfahrung Pangram durch unseren aktiven Lernalgorithmus mit menschlichen Texten sammelt, desto besser wird es nach und nach.
Was sind Perplexity und Burstiness?
Auszug aus unserem Blogbeitrag zu Perplexität und Burstiness – dort finden Sie ausführliche Erläuterungen zu den Schwächen dieser Methoden.
https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai
Die Perplexität gibt an, wie unerwartet oder überraschend jedes Wort in einem Text ist, wenn man es aus der Perspektive eines bestimmten Sprachmodells oder LLM betrachtet.
Hier sind zum Beispiel zwei Sätze. Konzentrieren wir uns zur Veranschaulichung auf das letzte Wort jedes Satzes. Im ersten Beispiel weist das letzte Wort eine niedrige Perplexität auf, während das letzte Wort im zweiten Beispiel eine hohe Perplexität aufweist.
Geringe Perplexität:
Heute habe ich zum Mittagessen eine Schüssel *Suppe* gegessen.
Hohe Verwirrung:
Heute habe ich zum Mittagessen eine Schüssel *Spinnen* gegessen.
Der Grund dafür, dass der zweite Satz eine hohe Perplexität aufweist, liegt darin, dass ein Sprachmodell in seinem Trainingsdatensatz nur sehr selten Beispiele dafür findet, dass Menschen Schüsseln voller Spinnen essen. Daher ist es für das Sprachmodell sehr überraschend, dass der Satz mit „Spinnen“ endet, anstatt beispielsweise mit „Suppe“, „einem Sandwich“ oder „einem Salat“.
Burstiness bezeichnet die Veränderung der Perplexität im Verlauf eines Dokuments. Sind im gesamten Dokument einige überraschende Wörter und Ausdrücke verstreut, würde man sagen, dass es eine hohe Burstiness aufweist.
Warum verwendet Pangram weder Perplexity noch Burstiness?
Die Verwendung von Perplexität und Burstiness zur Erkennung von KI-Texten weist zahlreiche Nachteile auf. Eine ausführliche Erläuterung der folgenden Punkte finden Sie in unserem Blogbeitrag zu diesem Thema: https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai. Da Sprachmodelle explizit darauf trainiert sind, die Perplexität anhand ihrer Trainingsdaten zu minimieren, werden häufig reproduzierte menschliche Texte wie die Unabhängigkeitserklärung und Wikipedia-Artikel fälschlicherweise als KI-Texte klassifiziert – ein Problem, das sich nur noch verschlimmert, je mehr Daten aus dem Internet in die Modelle einfließen. Diese Metriken sind zudem modellabhängig, sodass ein Detektor, der auf einen bestimmten Generator kalibriert wurde, bei einem anderen ungenaue Ergebnisse liefert; zudem stellen viele kommerzielle Modelle die zur Berechnung der Perplexität erforderlichen Token-Wahrscheinlichkeiten gar nicht erst zur Verfügung. Sie benachteiligen systematisch Nicht-Muttersprachler des Englischen, deren begrenzterer Wortschatz und einfachere Satzstrukturen naturgemäß eine geringere Perplexität und Burstigkeit erzeugen. Und vor allem handelt es sich um statische Heuristiken, die sich nicht wie ein Deep-Learning-Ansatz durch mehr Daten verbessern lassen – sie können nicht die Zuverlässigkeit bieten, die Anwendungen mit hohem Risiko erfordern.
