Ist Pangram korrekt?

Die Genauigkeit ist ein Maß dafür, wie effektiv Pangram Text korrekt als KI-generiert, KI-unterstützt oder von Menschen verfasst kennzeichnet. Die Genauigkeit wird durch zwei verschiedene Arten von Fehlern definiert, die jeweils separat gemessen werden:

1. Falsch-negativ-Rate: Wie oft Pangram ein von einer KI verfasstes oder KI-unterstütztes Dokument übersieht und es fälschlicherweise als von einem Menschen verfasst einstuft
2. Falsch-positiv-Rate: Wie oft stuft Pangram ein von Menschen verfasstes Dokument fälschlicherweise als KI-generiert oder KI-unterstützt ein

Pangram ist ein Tool, das statistische Vorhersagen trifft. Wir haben Pangram bewusst so eingestellt, dass es eher zu „False Negatives“ als zu „False Positives“ neigt; wir haben uns dafür entschieden, weil ein gelegentliches „False Negative“ zwar ärgerlich sein kann, ein „False Positive“ jedoch echten Schaden anrichten kann.

Sollten Sie auf ein falsch-positives oder falsch-negatives Ergebnis stoßen, können Sie dies über unser Feedback-Formular melden. Nutzermeldungen dienen ausschließlich der manuellen Überprüfung und Diagnose durch Mitarbeiter – wir verwenden Nutzerdaten niemals zum Trainieren oder für Vergleichstests.

Wie wird die Genauigkeit von Pangram gemessen?

Um die Genauigkeit von Pangram zu messen, wird es anhand umfangreicher Datensätze von Dokumenten getestet, bei denen für jedes Dokument der Autor bekannt ist – sei es ein Mensch, eine KI oder eine Kombination aus beidem. Um sicherzustellen, dass die Benchmarks zuverlässige Ergebnisse liefern, trainieren wir Modelle niemals anhand unserer Benchmark-Datensätze und führen auch keine Benchmarks mit Texten durch, bei denen die „Ground Truth“ ungewiss ist.

Die Genauigkeit von Pangram wird sowohl intern von uns als auch von externen Forschern geprüft. Wir sind stets auf der Suche nach weiteren unabhängigen Gutachtern – wenn Sie als Forscher daran interessiert sind, uns auf die Probe zu stellen, bieten wir Ihnen Gutschriften an! Bitte kontaktieren Sie uns bezüglich einer API-Gutschrift.

Benchmarking-Sätze

Wir testen Pangram anhand vieler verschiedener Arten von Daten, darunter von Menschen verfasste, von KI generierte, KI-unterstützte sowie gemischte (von Menschen und KI erstellte) Inhalte.

Unsere von Menschen verfassten Benchmark-Daten bestehen aus kommerziell lizenzierten und urheberrechtlich geschützten Texten, die ein breites Spektrum an Genres und Themenbereichen abdecken. Wir führen niemals Benchmarks mit Daten aus von Nutzern eingereichten Texten oder raubkopierten Inhalten durch.

Wir möchten, dass unsere KI-generierten Benchmark-Sätze eine möglichst breite Palette realer Anwendungsfälle für KI-basiertes Schreiben widerspiegeln. Aus diesem Grund wird unser KI-generierter Benchmark für Schlagzeilen anhand einer Reihe offener Schreibanfragen erstellt, die wir aus dem LMSYS-Chat-1M-Datensatz anonymisierter LLM-Konversationen gewonnen haben.

Außerdem führen wir Vergleichstests anhand mehrerer öffentlich zugänglicher Datensätze durch, die von externen Forschern zusammengestellt wurden; weitere Informationen finden Sie in den Vergleichstests von Drittanbietern auf der Modellkarte zu Pangram 4.

Die Leistung von Pangram bei verschiedenen Arten des Schreibens

Die angestrebte Falsch-Positiv-Rate von Pangram liegt bei 0,01 % bzw. 1 von 10.000. In unseren internen Vergleichstests schneidet Pangram 4 noch etwas besser ab und erreicht etwa 41 Falsch-Positive pro 1.000.000 Dokumente, was einer beobachteten Falsch-Positiv-Rate von 0,0041 % entspricht. Unsere Falsch-Negativ-Rate, gemessen an fast 520.000 KI-generierten Dokumenten, lag bei 0,3396 %.

Alle unsere Benchmarks stützen sich auf eine strenge Definition von „Falsch-positiv“ und „Falsch-negativ“: Jedes von Menschen verfasste Segment, das als KI-generiert oder KI-unterstützt markiert wird – selbst wenn es nur einen kleinen Teil des Gesamttextes ausmacht –, wird als „Falsch-positiv“ gewertet. Ebenso wird bei KI-generierten Dokumenten jedes noch so kleine Segment, das als von Menschen verfasst oder KI-unterstützt markiert wird, für das gesamte Dokument als „Falsch-negativ“ gewertet.

Um die Zuverlässigkeit unserer Benchmarks zu gewährleisten, messen wir die Leistung von Pangram anhand einer Vielzahl von Texten, die sowohl von Menschen als auch von KI verfasst wurden. Im Folgenden finden Sie Informationen dazu, wie Pangram in verschiedenen Bereichen und Genres, bei verschiedenen KI-Modellen und bei unterschiedlichen Textarten abschneidet.

Themenbereich und Genre

Schreibstil, Technik und Struktur variieren je nach Textart, wie beispielsweise bei Essays, Belletristik oder Journalismus, und ein Vergleich auf hoher Ebene kann die Fehlerquoten in bestimmten Bereichen verschleiern. Aus diesem Grund unterteilen wir unsere Vergleichswerte in bereichsspezifische Untergruppen und untersuchen sowohl die Falsch-Positiv- als auch die Falsch-Negativ-Quoten in diesen Untergruppen.

Falsch-positiv-Rate nach Domäne

Wir testen eine Vielzahl von von Menschen verfassten Textabschnitten, um zu prüfen, ob bei einigen davon eine unverhältnismäßig hohe Falsch-Positiv-Rate auftritt. Insgesamt ist unsere Leistung bei unseren primären Anwendungsfällen recht gut, darunter kreative, akademische und wissenschaftliche Texte.

In dieser Aufschlüsselung nach Bereichen enthalten Amazon-Rezensionen, Nachrichten und Anleitungen allesamt mehrsprachige Daten.

Die Lyrik wies unter allen Bereichen die höchste Falsch-Positiv-Rate auf – Gedichte lassen sich schwerer klassifizieren, da sie in der Regel kurz und stark formatiert sind. Auch wenn die Falsch-Positiv-Rate noch relativ niedrig ist, würden wir empfehlen, diese Art von Texten einer zusätzlichen Prüfung zu unterziehen.

Falsch-negativ-Rate nach Domäne

Pangram 4 wurde hinsichtlich seiner Fähigkeit getestet, eine breite Palette von KI-generierten Texten zu erkennen, darunter akademische Texte wie Aufsätze, Forschungsarbeiten und wissenschaftliche Artikel sowie kreative Texte und Belletristik.

Es wurde außerdem an einer Zufallsstichprobe von KI-generierten Antworten auf anonymisierte Nutzeranfragen getestet, die aus realen LLM-Anfragen aus dem LMSYS-Chat-1M-Datensatz stammten. Diese Anfragen umfassten wissenschaftliches und technisches Schreiben, kreatives Schreiben sowie geschäftliches Schreiben.

Verschiedene und neue KI-Modelle

Nicht alle KI-Modelle schreiben auf dieselbe Weise. Bei der Veröffentlichung von Pangram 4 haben wir den Datensatz „LMSYS-Chat-1M“ verwendet, um 20.000 Beispiele aus 26 gängigen Sprachmodellen zu generieren, was insgesamt 520.000 Beispiele ergab. Nachstehend finden Sie die Falsch-Negativ-Rate für 15 dieser Modelle; die vollständige Tabelle können Sie auf der Pangram-4-Modellkarte einsehen.

Auch KI-Modelle sind nicht statisch. Es werden ständig neue KI-Modelle veröffentlicht, und KI-Unternehmen legen bei neuen Versionen großen Wert auf den Schreibstil und die Qualität. Daher ist davon auszugehen, dass sich Stil und Tonfall der Modelle weiterentwickeln werden. Um auf dem neuesten Stand zu bleiben, führen wir bei jedem neuen Modell, sobald es veröffentlicht wird, einen kleineren Benchmark-Test durch und veröffentlichen die Ergebnisse in unserem Blog zwischen unseren eigenen Modellveröffentlichungen.

Pangram liefert auch bei unbekannten Modellen weiterhin gute Ergebnisse, da neue Modelle einen Großteil ihres Schreibstils von ihren Vorgängern übernehmen. Unseren neuesten Beitrag zum Modell-Benchmark „Kann Pangram Claude Sonnet 5.5 erkennen?“ können Sie hier lesen, und hier erfahren Sie, wie Pangram bei unbekannten Modellen eine niedrige Falsch-Negativ-Rate erzielt.

Mehrere Autoren

Text ist nicht binär: Nicht alle Dokumente sind entweder vollständig von einer KI generiert oder ausschließlich von einem Menschen verfasst. Oftmals sind KI und menschliche Urheberschaft durch iterative Bearbeitung, Verfeinerung und andere wechselseitige Prozesse miteinander verflochten. Im Idealfall sollte Pangram in der Lage sein, zwischen einem gemeinsam erstellten Dokument und einem Dokument zu unterscheiden, das mit minimaler menschlicher Aufsicht generiert wurde, und diesen Unterschied in den Erkennungsergebnissen widerzuspiegeln.

Die Kennzeichnung hängt davon ab, in welchem Umfang KI bei der Erstellung des Dokuments zum Einsatz kam. So sollten beispielsweise geringfügige KI-Eingriffe wie Korrekturlesen oder redaktionelle Überarbeitung in der Regel weiterhin als „vollständig von Menschen erstellt“ gekennzeichnet werden, während umfangreichere Überarbeitungen, wie beispielsweise Vorschläge zur Änderung von Formulierungen und Ausdrucksweisen im Interesse der Klarheit, im Allgemeinen als „KI-unterstützt“ gekennzeichnet werden sollten. Umfangreiche KI-Überarbeitungen könnten hingegen als „KI-generiert“ gekennzeichnet werden.

Die Kennzeichnung sollte auch davon abhängen, wie KI und menschliches Schreiben kombiniert werden. Würde man beispielsweise im Austausch mit einer KI einen Absatz umschreiben, würde dies als „unterstützt“ gekennzeichnet, während die Aufforderung an eine KI, eine von Menschen verfasste Aussage zu einem längeren Absatz mit Belegen auszubauen, als „gemischter, von Menschen und KI generierter Inhalt“ gekennzeichnet würde, was die unterschiedlichen Autoren der verschiedenen Abschnitte widerspiegelt.

Um all diese unterschiedlichen Arten des Einsatzes von KI beim Schreiben zu erfassen, bewerten wir Pangram anhand von Datensätzen mit unterschiedlichem Grad an KI-Einbindung.

Pangram liefert gute Ergebnisse bei KI-gestützten und KI-bearbeiteten Texten. Aus Vorsicht tendiert Pangram bei gemischten Texten dazu, den menschlichen Ansatz zu bevorzugen.

Verschiedene Autoren

Wir haben Pangram auf mögliche Voreingenommenheit gegenüber Autor*innen mit unterschiedlichem Hintergrund untersucht. Anhand eines Datensatzes von 25.996 Aufsätzen, die von Schüler*innen mit unterschiedlichen Behinderungen, Geschlechtern, Klassenstufen, ethnischen Hintergründen, Englischlernstatus und wirtschaftlichen Verhältnissen verfasst wurden, wies Pangram 0 Fehlalarme auf. Die vollständige Aufschlüsselung der Ergebnisse zu den Aufsätzen von Schüler*innen mit unterschiedlichem Hintergrund finden Sie hier.

Eine Studie untersuchte die Leistung von Pangram 4 anhand von 143.755 Dokumenten, darunter 85.887 Dokumente von autistischen Autoren, und stellte fest, dass Pangram keine nennenswerte Verzerrung aufwies. Bei 89.903 Dokumenten aus der Zeit vor 2022, die sowohl von neurodiversen als auch von Kontrollautoren verfasst wurden, wies Pangram 4 eine Falsch-Positiv-Rate von 0,0011 % auf. Sie können die vollständige unabhängige Studie über Autoren mit Neurodiversität lesen.

Neben Englisch unterstützt Pangram Arabisch, Chinesisch, Tschechisch, Niederländisch, Französisch, Deutsch, Griechisch, Hindi, Ungarisch, Italienisch, Japanisch, Koreanisch, Persisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Spanisch, Schwedisch, Türkisch, Ukrainisch, Urdu und Vietnamesisch.

Benchmark-Ergebnisse nach Sprache finden Sie unter „Falsch-Positiv-Rate von Pangram nach unterstützten Sprachen“.

Einschränkungen

Kurzer Text

Pangram wurde entwickelt, um KI-generierte Texte in Prosa aus natürlicher Sprache mit einer Länge von mindestens 50 Wörtern zu erkennen, die überwiegend in vollständigen Sätzen verfasst sind. Pangram liefert die zuverlässigsten Ergebnisse bei längeren Textabschnitten, da diese dem KI-Detektor mehr Informationen für genaue Vorhersagen liefern.

Im Folgenden finden Sie eine Aufschlüsselung der Leistung von Pangram bei Texten unterschiedlicher Länge. Aufgrund des Kompromisses zwischen Falsch-Positiven und Falsch-Negativen handelt es sich bei vielen der in kurzen Texten auftretenden Fehler um Falsch-Negative.

Sonstige Einschränkungen

Es gibt einige Textarten, die wir derzeit als außerhalb des Anwendungsbereichs liegend betrachten und für die Pangram weniger zuverlässige Ergebnisse liefern kann. Dazu gehören:

• Code, Markup oder Markdown
• KI-Übersetzungen und maschinelle Übersetzungen, wie beispielsweise Google Translate
• Vorderste Teile eines Dokuments, einschließlich Inhaltsverzeichnisse und Titelblätter
• Anhänge eines Dokuments, wie z. B. Indizes oder Literaturverzeichnisse
• Bildunterschrift, wie z. B. Achsenbeschriftungen oder tabellarische Daten
• Mathematische Schreibweise
• Text mit umfangreichen Formatierungen, wie Gedichte oder Rezepte

Bewährte Verfahren

• Um optimale Ergebnisse zu erzielen, sollten von Hand geschriebene Kopf- und Fußzeilen, Anweisungen und andere überflüssige Elemente vor dem Scannen eines Dokuments entfernt werden.
• Reiner Text und .docx-Dateien sind, sofern verfügbar, gegenüber PDF-Dateien zu bevorzugen, da beim Parsen von PDF-Dateien manchmal unbeabsichtigte Artefakte entstehen können. PDF-Ergebnisse sollten stets einer doppelten Überprüfung unterzogen werden.

Häufig gestellte Fragen

Warum werden die Falsch-Positiv-Rate und die Falsch-Negativ-Rate getrennt gemessen?

Die Genauigkeit wird gemessen, indem Pangram auf eine Reihe von Beispieltexten angewendet wird und die zugewiesene Klassifizierung mit der uns bekannten Klassifizierung des Dokuments verglichen wird. Somit sind die Falsch-Negativ-Rate und die Falsch-Positiv-Rate Maßstäbe für zwei unterschiedliche Dinge:

• Die Falsch-Negativ-Rate gibt Aufschluss darüber: Wie hoch ist die Wahrscheinlichkeit, dass Pangram ein gegebenes KI-Dokument als von einem Menschen verfasst einstuft?
• Die Falsch-Positiv-Rate gibt Aufschluss darüber: Wie hoch ist die Wahrscheinlichkeit, dass Pangram ein menschlich verfasstes Dokument als KI-Ergebnis einstuft?

Bei einer Sammlung von KI-verfassten Dokumenten gibt es keine Falsch-Positiv-Rate, da jede positive (KI-)Kennzeichnung, die Pangram einem Element zuweist, kein Falsch-Positiv wäre – per Definition wäre es ein Echt-Positiv. Aus diesem Grund müssen die Falsch-Positiv- und die Falsch-Negativ-Rate separat gemessen und ausgewiesen werden.

Warum scannt Pangram kurze Texte, wenn die Genauigkeit dabei geringer ist?

Die Falsch-Positiv-Rate von Pangram bei Texten mit einer Länge zwischen 50 und 100 Wörtern beträgt 0,02 % bzw. etwa 1 von 5.000. Dies ist zwar hoch genug – und kurze Texte im Internet sind zahlreich genug –, dass der durchschnittliche Nutzer im normalen Nutzungsablauf auf ein Falsch-Positiv bei einem kurzen Text stoßen könnte, doch ist die Rate dennoch niedrig genug, dass wir davon ausgehen, dass Pangram in den meisten Fällen nützliche Informationen liefern kann.

Wir empfehlen stets, den längsten verfügbaren Abschnitt eines Dokuments zu scannen. Je mehr Wörter vorhanden sind, desto mehr Informationen stehen Pangram für eine Vorhersage zur Verfügung, weshalb sich die Genauigkeit mit steigender Wortanzahl verbessert.