Wie Pangram KI-generierte Inhalte erkennt
Übersicht
Einführender Schulungsprozess
Unser Klassifikator basiert auf einer klassischen Sprachmodellarchitektur. Er nimmt einen Eingabetext entgegen und zerlegt ihn in Token. Anschließend wandelt das Modell jedes Token in eine Einbettung um, d. h. in einen Zahlenvektor, der die Bedeutung des jeweiligen Tokens darstellt.
Die Eingabe wird durch das neuronale Netz geleitet, wodurch eine Ausgabeeinbettung entsteht. Ein Klassifikator-Kopf wandelt die Ausgabeeinbettung in eine Vorhersage von 0 oder 1 um, wobei 0 die menschliche Klassifizierung und 1 die KI-Klassifizierung darstellt.
Kontinuierliche Verbesserung durch Iteration
Das ursprüngliche Modell war bereits recht effektiv, doch wir wollten die Genauigkeit maximieren und das Risiko von Fehlalarmen (d. h. die fälschliche Einstufung von von Menschen verfassten Dokumenten als KI-generiert) minimieren. Zu diesem Zweck haben wir einen Algorithmus entwickelt, der speziell auf Modelle zur KI-Erkennung zugeschnitten ist.
Mit dem ursprünglichen Datensatz verfügte unser Modell nicht über genügend Informationen, um die Genauigkeit von 99 % auf 99,999 % zu steigern. Das Modell lernt zwar die anfänglichen Muster in den Daten schnell, benötigt jedoch auch schwierige Grenzfälle, um präzise zwischen von Menschen verfassten und von KI generierten Texten unterscheiden zu können.
Wir lösen dieses Problem, indem wir das Modell dazu nutzen, große Datensätze nach Fehlalarmen zu durchsuchen, und den ursprünglichen Trainingsdatensatz vor dem erneuten Training um diese zusätzlichen schwierigen Beispiele erweitern. Nach mehreren Durchläufen dieses Verfahrens weist das resultierende Modell eine Fehlalarmrate nahe Null sowie eine insgesamt verbesserte Leistung bei den zurückbehaltenen Bewertungsdatensätzen auf.
Mehr erfahren
