Der Pangram-Text-KI-Detektor ist jetzt mehrsprachig!
Pangram Text, unser Flaggschiff unter den KI-Erkennungsmodellen, erkennt nun auch KI-generierte Texte in anderen Sprachen als Englisch.
Foto: Valentin Antonucci.
Wir freuen uns, ein umfangreiches Update für „Pangram Text“, unser Flaggschiff unter den KI-Erkennungsmodellen, ankündigen zu können. „Pangram Text“ kann nun KI-generierte Texte in Spanisch, Französisch, Italienisch, Portugiesisch, Deutsch, Russisch und Mandarin-Chinesisch mit derselben branchenführenden Genauigkeit erkennen wie Texte in englischer Sprache. Wir führen unser neues mehrsprachiges Modell ab sofort ein, um Online-Plattformen vor KI-Spam zu schützen.
Benchmarking
Um die Genauigkeit unseres Modells bei anderen Sprachen als Englisch zu testen, verwenden wir drei große, vielfältige mehrsprachige Korpora aus unterschiedlichen Bereichen: mehrsprachige Rezensionen von Amazon, Wikipedia und XLSum (BBC News International).
Für den menschlichen Teil des Benchmarks wählen wir zufällige Dokumente aus, die unsere Plausibilitätsprüfungen bestehen. Für den KI-Teil des Benchmarks verwenden wir eine Mischung aus GPT-3.5, GPT-4 und GPT-4o. Zunächst bitten wir das LLM, das echte Dokument zusammenzufassen, z. B. „Worum geht es in dieser Rezension?“ Anschließend bitten wir es, anhand der Zusammenfassung eine Rezension, einen Artikel oder einen Nachrichtenbeitrag zu erstellen. Durch diese Art der Benchmark-Erstellung wird die Möglichkeit von Label-Rauschen ausgeschlossen und gleichzeitig sichergestellt, dass die Datenverteilungen von Mensch und KI einander so ähnlich wie möglich sind.
| Sprache | Genauigkeit der Amazon-Rezensionen | Genauigkeit von Wikipedia | XLSum (BBC News) Genauigkeit |
|---|---|---|---|
| Spanisch | 99.59% | 99.75% | 99.75% |
| Französisch | 98.84% | 99.33% | 98.50% |
| Italienisch | Nicht zutreffend | 99.82% | Nicht zutreffend |
| Deutsch | 99.44% | 99.95% | Nicht zutreffend |
| Portugiesisch | Nicht zutreffend | 99.83% | 99.70% |
| Russisch | Nicht zutreffend | 98.34% | 99.35% |
| Chinesisch | 99.70% | 99.54% | 98.10% |
Häufig gestellte Fragen
- Wie haben Sie das Modell aktualisiert, damit es diese Sprachen unterstützt?
Da unser Modell auf einer ähnlichen Architektur wie moderne große Sprachmodelle basiert, nutzen wir ein groß angelegtes Vortraining, um sicherzustellen, dass unser Backbone anhand eines umfangreichen mehrsprachigen Korpus trainiert wird, bevor wir einen KI-Erkennungskopf feinabstimmen. Außerdem verwenden wir einen Tokenizer, der zahlreiche Sprachen unterstützt, darunter Russisch und Chinesisch.
- Warum hast du dich gerade für diese Sprachen entschieden?
Wir haben Sprachen ausgewählt, die den Großteil der im Internet verwendeten Sprachen abdecken.
- Was passiert, wenn ich einen Text in einer Sprache einreiche, die nicht unterstützt wird?
Wir verwenden Amazon Comprehend, um die Sprache des Eingabetextes zu erkennen. Wird die Sprache nicht unterstützt, geben wir als Ergebnis „Unsupported Language“ zurück.
- Wird sich das Modell mit der Zeit verbessern?
Ja, wir gehen davon aus, dass wir in Zukunft Updates mit verbesserter Leistung für andere Sprachen als Englisch veröffentlichen werden, da wir unseren mehrsprachigen Datensatz mithilfe von aktivem Lernen kontinuierlich erweitern.
- Wie sieht es mit anderen Sprachen aus?
Wir planen, in Zukunft weitere Sprachen zu unterstützen. Wenn Sie eine Sprache haben, die Sie gerne unterstützt sehen würden, lassen Sie es uns bitte wissen!
Für weitere Informationen zur mehrsprachigen KI-Erkennung kontaktieren Sie uns bitte unter info@pangram.com.
Bradley ist KI-Forscher und Experte für die Entwicklung von Deep-Learning-Produkten in der Industrie. Zuletzt leitete er die Deep-Learning-Forschungsgruppe bei Absci, einem Unternehmen für generative KI in der Arzneimittelforschung, und war zuvor Mitglied des Kernteams für Computer Vision bei Tesla Autopilot.
Weiterführende Literatur
Wie gut kann Pangram Schlussfolgerungsmodelle erkennen?
Lernen Sie Pangram 3.3 kennen!
Pangram ist der einzige KI-Detektor, der bei der Erkennung von KI-Inhalten besser abschneidet als menschliche Experten
Aktualisierung des Pangram-Textes: GPT-4o, Claude 3, LLaMA 3
Pangram 4 – Technischer Überblick
So erkennt man KI in Google Docs
