Der KI-Detektor von Pangram zeigt in über 20 Sprachen eine starke Leistung

Vor zwei Monaten hat Pangram das erste mehrsprachige KI-Erkennungsmodell veröffentlicht. Nun können wir ein Update ankündigen! Pangram unterstützt nun offiziell die 20 meistgenutzten Sprachen im Internet und liefert inoffiziell auch bei vielen weiteren Sprachen gute Ergebnisse. Besonders stark und deutlich verbessert ist die Leistung bei Arabisch, Japanisch, Koreanisch und Hindi.

Ergebnisse

In unserem offiziellen Trainingsdatensatz haben wir etwa 2.000 Dokumente pro Sprache ausgewertet. Der menschliche Teil besteht aus einer Mischung aus echten Rezensionen, Nachrichtenartikeln und Wikipedia-Artikeln. Der KI-Teil umfasst eine Sammlung von Aufsätzen, Nachrichtenartikeln und Blogbeiträgen, die wir GPT-4o dazu veranlasst haben, in unterschiedlicher Länge, verschiedenen Stilen und zu unterschiedlichen Themen zu verfassen.

Was haben wir geändert?

Hier sind die wichtigsten Änderungen, die wir vorgenommen haben, um unseren mehrsprachigen Support zu verbessern:

• Wir haben eine Datenkampagne zum aktiven Lernen durchgeführt, die auf Daten im Web-Maßstab abzielte und sich auf die 20 meistgenutzten Sprachen im Internet konzentrierte.

• Wir haben den Tokenizer angepasst, um nicht-englische Sprachen besser zu unterstützen.

• Wir haben die Anzahl der Parameter des Basismodells und der LoRA-Adapter erhöht.

• Wir haben vor dem Training eine Datenvervielfältigung angewendet, um einen zufälligen Teil unseres Datensatzes maschinell zu übersetzen.

• Wir haben einen Fehler bei der Wortzählung behoben, der dazu führte, dass ostasiatische Sprachen im Trainingsdatensatz versehentlich unterrepräsentiert waren.

Kampagne für aktives Lernen

Die Grundlage unseres Verfahrens zur Entwicklung von Modellen mit extrem niedrigen Falsch-Positiv-Raten ist das aktive Lernen: Einfach ausgedrückt durchsuchen wir das Internet aus der Zeit vor 2022 nach Beispielen, bei denen unser Modell schlechte Ergebnisse liefert (z. B. Falsch-Positive), fügen diese Beispiele unserem Trainingsdatensatz hinzu, trainieren das Modell neu und wiederholen diesen Vorgang. Wir beschreiben diesen Algorithmus ausführlich in unserem technischen Bericht.

Wir können unseren Ansatz des aktiven Lernens auf einige große mehrsprachige Datensätze im Internet anwenden, um mehrsprachige Texte zu finden, mit denen unser aktuelles Modell Schwierigkeiten hat, und diese Daten dann nutzen, um gemeinsam mit unserer umfangreichen Bibliothek an Prompts zur Erstellung synthetischer Spiegeltexte zu iterieren: KI-Text, der den von uns gefundenen falschen Positiven ähnelt. Während wir uns auf die 20 wichtigsten Sprachen im Internet konzentrieren, entfernen wir unseren Sprachfilterschritt aus unserer Datenpipeline: Das bedeutet, dass Texte aus allen Sprachen für das Hard-Negative-Mining und die Aufnahme in unseren Trainingssatz in Frage kommen.

Einer der Vorteile unseres Ansatzes des aktiven Lernens besteht darin, dass er die Verteilung der Sprachen automatisch auf der Grundlage der Genauigkeit unseres Modells neu ausbalanciert. Sprachen mit geringen Ressourcen sind im Internet unterrepräsentiert, doch aufgrund dieses Klassenungleichgewichts schneidet unser erstes Modell bei Sprachen mit geringen Ressourcen zunächst schlecht ab, was dazu führt, dass im Rahmen des „Hard Negative Mining“-Durchlaufs mehr Text aus seltenen Sprachen in den Vordergrund rückt. Im Laufe des aktiven Lernprozesses beobachten wir, dass der Anteil von Daten aus Sprachen mit umfangreichen Ressourcen wie Englisch, Spanisch und Chinesisch in unserem Trainingssatz allmählich abnimmt, während der Anteil seltenerer Sprachen zunimmt. Wir halten dies für eine relativ elegante Lösung für die natürliche Ungleichverteilung der Daten beim Training mehrsprachiger Modelle. Mithilfe unseres aktiven Lernalgorithmus ist das Modell in der Lage, selbst die Daten in den Sprachen auszuwählen, von denen es mehr sehen muss.

Architektonische Änderungen

Um mehrsprachige Texte im Eingabebereich besser unterstützen zu können, wollten wir außerdem sicherstellen, dass das Basis-LLM, das wir zum Aufbau unseres Klassifikators verwenden, auch viele nicht-englische Sprachen fließend beherrscht. Wir haben verschiedene LLM-Backbones und Tokenizer an unserem Datensatz getestet, um das Modell zu finden, das bei einer breiten Palette nicht-englischer Sprachen insgesamt die beste Leistung erbringt. Wir haben festgestellt, dass die Leistung bei mehrsprachigen Benchmarks offenbar nicht stark damit korreliert, wie gut das Backbone bei unserer KI-Erkennungsaufgabe abschneiden würde: Mit anderen Worten, selbst wenn das Basismodell in der Lage ist, Schlussfolgerungsaufgaben zu lösen und Fragen in anderen Sprachen zu beantworten, variiert die Effektivität des Kompetenztransfers auf die mehrsprachige KI-Erkennung extrem stark.

Wir stellten außerdem fest, dass unsere ursprünglich trainierten Modelle dazu neigten, die neue mehrsprachige Verteilung zu unteranpassen – wir beobachteten zunächst einen höheren Trainingsverlust. Zu diesem Zweck haben wir sowohl die Größe des Basismodells als auch die Anzahl der Parameter in unseren LoRA-Adaptern erhöht und das Modell über mehr Trainingsschritte hinweg trainiert. (Da wir uns in einem Umfeld mit aktivem Lernen und großen Datenmengen befinden, trainieren wir fast nie länger als eine Epoche. In diesem Fall mussten wir lediglich die Größe der Epoche erweitern!)

Datenerweiterung

Selbst beim aktiven Lernen ist die Vielfalt der Daten in anderen Sprachen als Englisch deutlich geringer als die Vielfalt und der Umfang der englischen Daten im Internet, und wir können dies nicht vollständig beheben, indem wir lediglich die Sprachverteilung im Trainingssatz neu ausbalancieren. Grob gesagt gibt es einige englische Daten, die wertvoll sind, die es in anderen Sprachen jedoch einfach nicht gibt oder für die es keine muttersprachlichen Entsprechungen gibt. Daher haben wir uns entschieden, einen kleinen Teil unseres Datensatzes zufällig mit maschineller Übersetzung zu ergänzen (in unserem Fall haben wir Amazon Translate verwendet).

Zwar ist es beim Training von LLMs nicht üblich, das Trainingsdatensatz durch maschinell übersetzte Daten zu ergänzen, da diese oft unnatürlich wirken und unter „Übersetzungsjargon“ leiden; in unserem Fall jedoch, da wir kein generatives Modell trainieren, scheint dies die Ausgabequalität nicht zu beeinträchtigen, und wir konnten nach der Anwendung dieser Erweiterung Verbesserungen bei unseren Metriken feststellen.

Benchmarking: Spanisch

Wir nehmen Spanisch als typisches Beispiel für eine ressourcenreiche Sprache, die zuvor von Pangram Text unterstützt wurde, nun aber deutlich verbessert wurde. Wir messen die Falsch-Positiv-Rate in verschiedenen Bereichen.

Wir haben außerdem die Falsch-Negativ-Rate (die Quote, mit der von KI generierter Text fälschlicherweise als von Menschen verfasst eingestuft wird) für verschiedene große Sprachmodelle gemessen. In diesem Experiment haben wir eine Liste von Eingabeaufforderungen erstellt, anhand derer die LLMs Essays, Blogbeiträge und Nachrichtenartikel in unterschiedlicher Länge und verschiedenen Stilen generieren sollten, und diese Eingabeaufforderungen anschließend ins Spanische übersetzt. Da die LLMs selbst mehrsprachig sind, reagieren sie auf die Anweisungen auf Spanisch.

Wie wir sehen können, erzielt unser aktualisiertes Modell bei allen getesteten LLMs eine perfekte Erkennung und stellt damit eine deutliche Verbesserung gegenüber unserer vorherigen Version dar.

Vergleichsanalyse: Arabisch und Japanisch

Zwei der Sprachen, auf deren Verbesserung wir uns besonders konzentriert haben, sind weltweit weit verbreitet, im Internet jedoch eher selten anzutreffen – Arabisch und Japanisch.

Bisher haben wir diese beiden Sprachen nicht unterstützt, weshalb die Falsch-Negativ-Raten extrem hoch waren. Mittlerweile können wir KI-generiertes Arabisch und Japanisch sehr zuverlässig erkennen.

Wie wir sehen können, erzielt unser aktualisiertes Modell bei allen getesteten LLMs sowohl für Arabisch als auch für Japanisch eine nahezu perfekte Erkennung, wobei bei Gemini 1.5 Pro im Japanischen lediglich eine geringe Falsch-Negativ-Rate von 0,21 % auftritt.

Die vollständigen Ergebnisse des Sprach-Benchmarks sind auf Anfrage erhältlich.

Wie geht es weiter?

Während unser Modell bei nativen Webtexten starke Leistungen erbringt, hat es manchmal Schwierigkeiten, „Übersetzungssprache“ zu erkennen – also Texte, die schlecht übersetzt sind oder sich anderweitig unnatürlich anhören. Erschwerend kommt hinzu, dass viele Menschen mittlerweile LLMs wie ChatGPT direkt für Übersetzungsaufgaben nutzen. Sollten von LLMs übersetzte Texte als von Menschen oder von KI erstellt eingestuft werden? Das hängt davon ab, wie holprig die Übersetzung ist, sowie vom jeweiligen Anwendungsfall. Ein Spanischlehrer könnte die Verwendung von maschineller Übersetzung bei einer Hausaufgabe als akademische Unredlichkeit betrachten, während ein Verlag übersetzte Werke möglicherweise durch seinen Qualitätssicherungsprozess zulassen möchte. Pangram arbeitet aktiv daran, übersetzten Text als eine „dritte Modalität“ zu verstehen, die irgendwo zwischen Mensch und KI liegt, und unseren Nutzern mehr Informationen zur Verfügung zu stellen, damit die nachgelagerten Verbraucher unseres Modells entscheiden können, was für sie das Richtige ist.

Haben Sie weitere Fragen? Kontaktieren Sie uns unter info@pangram.com!