Ein Aufruf zu neuen Pangram-Bewertungen

Wir halten es für unerlässlich, dass KI-Detektoren wie Pangram von unabhängigen Forschern überprüft werden. Bislang wurde unsere umfangreichste unabhängige Bewertung von der University of Chicago durchgeführt – und zwar vor über einem Jahr unter Verwendung von Pangram 3. Es kommen ständig neue große Sprachmodelle (LLMs) auf den Markt, und eine binäre Bewertung, bei der vollständig KI-generierte Dokumente mit vollständig von Menschen verfassten Dokumenten verglichen werden, erfasst nicht das gesamte Spektrum der tatsächlichen Leistungsfähigkeit.

Wir brauchen mehr hochwertige, vollkommen unabhängige Pangram-Benchmarks. Ein hervorragender Benchmark wird uns dabei helfen, Pangram besser zu verstehen und zu verbessern, und er wird zudem dazu beitragen, die Art und Weise zu prägen, wie die Welt in den kommenden Jahren mit KI interagieren wird.

Wir rufen dazu auf, neue Bewertungen durch unabhängige Dritte einzureichen. Beispiele für Bewertungen, die wir gerne sehen würden, sind solche, die versuchen, eine der folgenden Fragen zu beantworten:

• Wie gut erkennen aktuelle Detektoren Text aus den neuesten KI-Modellen?
• Wie schneiden KI-Detektoren in kontextreichen Situationen ab, beispielsweise bei eingehender Recherche, im Rahmen eines Agenten-Harnesses oder über mehrere Iterationen der KI-Bearbeitung hinweg?
• Wie gut funktionieren Erkennungsprogramme bei Texten mit mehreren Autoren? Die Forschung auf diesem Gebiet könnte das gesamte Spektrum der KI-Unterstützung untersuchen, von leichten grammatikalischen Korrekturen bis hin zur vollständigen Mitautorenschaft.
• Wie gut funktionieren KI-Textdetektoren bei den Ergebnissen von KI-Sprach-zu-Text-Programmen? Inwieweit verändern diese Programme den Text?
• Wie gut funktionieren KI-Detektoren bei KI- und von Menschen verfassten Texten in verschiedenen Sprachen?
• Wie schneiden KI-Detektoren bei Texten ab, die von Autoren mit unterschiedlichem Hintergrund, aus verschiedenen ethnischen oder kulturellen Gruppen und in unterschiedlichen Genres oder Stilrichtungen verfasst wurden? Auch Nullergebnisse, die keine Voreingenommenheit erkennen lassen, sind für uns interessant.
• Wie gut funktionieren KI-Detektoren bei neuen Textarten, wie beispielsweise neu eingescannten historischen Dokumenten?
• Wie gut funktionieren KI-Detektoren bei technischen Texten, mathematischen Gleichungen oder Code – sowohl bei solchen, die von KI als auch bei solchen, die von Menschen verfasst wurden?

Was wir an einem Benchmark schätzen, sind außergewöhnlich saubere Daten, Daten aus dem Bereich der modernsten großen Sprachmodelle (LLM) sowie ein ausreichend hoher Schwierigkeitsgrad, damit der Benchmark nicht von den meisten Detektoren gesättigt wird.

Wir gewähren gerne Fördermittel für solche Evaluierungen. Sobald ein Förderthema genehmigt wurde, knüpfen wir keine Veröffentlichungsauflagen an diese Fördermittel – den Forschern steht es frei, alle erzielten Ergebnisse zu veröffentlichen, unabhängig davon, ob diese für Pangram günstig ausfallen oder nicht.

Wenn Sie als Forscher tätig sind und uns einem Vergleich unterziehen möchten, bewerben Sie sich bitte hier.