Wie Pangram KI-generierte Inhalte erkennt

Pangram Text wurde entwickelt, um KI-generierte Inhalte mit einer Falsch-Positiv-Rate von nahezu Null zu erkennen. Unser rigoroser Trainingsansatz minimiert Fehler und ermöglicht es dem Modell, KI-Texte zu erkennen, indem es subtile Hinweise im Text analysiert und versteht.

Unser Klassifikator basiert auf einer klassischen Sprachmodellarchitektur. Er nimmt einen Eingabetext entgegen und zerlegt ihn in Token. Anschließend wandelt das Modell jedes Token in eine Einbettung um, d. h. in einen Zahlenvektor, der die Bedeutung des jeweiligen Tokens darstellt.

Die Eingabe wird durch das neuronale Netz geleitet, wodurch eine Ausgabeeinbettung entsteht. Ein Klassifikator-Kopf wandelt die Ausgabeeinbettung in eine Vorhersage von 0 oder 1 um, wobei 0 die menschliche Klassifizierung und 1 die KI-Klassifizierung darstellt.

Wir trainieren ein erstes Modell anhand eines kleinen, aber vielfältigen Datensatzes von etwa 1 Million Dokumenten, der aus öffentlichen und lizenzierten, von Menschen verfassten Texten besteht. Der Datensatz enthält auch KI-generierte Texte, die von GPT-4 und anderen innovativen Sprachmodellen erstellt wurden. Das Ergebnis des Trainings ist ein neuronales Netzwerk, das zuverlässig vorhersagen kann, ob ein Text von einem Menschen oder einer KI verfasst wurde.

Hard-Negative-Mining

Das ursprüngliche Modell war bereits recht effektiv, doch wir wollten die Genauigkeit maximieren und das Risiko von Fehlalarmen (d. h. die fälschliche Einstufung von von Menschen verfassten Dokumenten als KI-generiert) minimieren. Zu diesem Zweck haben wir einen Algorithmus entwickelt, der speziell auf Modelle zur KI-Erkennung zugeschnitten ist.

Mit dem ursprünglichen Datensatz verfügte unser Modell nicht über genügend Informationen, um die Genauigkeit von 99 % auf 99,999 % zu steigern. Das Modell lernt zwar die anfänglichen Muster in den Daten schnell, benötigt jedoch auch schwierige Grenzfälle, um präzise zwischen von Menschen verfassten und von KI generierten Texten unterscheiden zu können.

Wir lösen dieses Problem, indem wir das Modell dazu nutzen, große Datensätze nach Fehlalarmen zu durchsuchen, und den ursprünglichen Trainingsdatensatz vor dem erneuten Training um diese zusätzlichen schwierigen Beispiele erweitern. Nach mehreren Durchläufen dieses Verfahrens weist das resultierende Modell eine Fehlalarmrate nahe Null sowie eine insgesamt verbesserte Leistung bei den zurückbehaltenen Bewertungsdatensätzen auf.

Spiegelaufforderungen

Wir gestalten die KI-Seite des Datensatzes so, dass sie in Stil, Tonfall und semantischem Inhalt der menschlichen Seite sehr ähnlich ist. Für jedes menschliche Beispiel generieren wir ein KI-generiertes Beispiel, das in möglichst vielen Punkten mit dem Originaldokument übereinstimmt, um sicherzustellen, dass unser Modell lernt, Dokumente ausschließlich anhand spezifischer Merkmale des LLM-Schreibstils zu klassifizieren.

Umschulen

Wir trainieren das Modell mit dem aktualisierten Trainingsdatensatz und bewerten die Leistung des Modells bei jedem Schritt. Mit dieser Methode können wir Fehler reduzieren und die Genauigkeit unseres Modells über das hinaus steigern, was mit einem normalen Training möglich ist.

Lesen Sie unser vollständiges technisches Whitepaper auf arXiv, in dem wir ausführlich auf Trainingsdetails, Leistungsdaten und weitere Experimente eingehen.