Bewertungen von Pangram durch Dritte

Wir glauben, dass es wichtig ist, dass Institutionen sich auf die hohe Genauigkeit von Pangram verlassen können. Daher fördern wir die Überprüfung unserer Qualitätskennzahlen (Falsch-Positiv- und Falsch-Negativ-Ergebnisse) durch Dritte. Im Folgenden stellen wir Bewertungen von Pangram durch Forscher der University of Chicago (UChicago) und der University of Maryland (UMD) sowie durch kommerzielle Gutachter vor.

Wichtigste Erkenntnis: Die internen Tests von Pangram halten der Prüfung durch Dritte stand.

Zuverlässigkeit und Genauigkeit von Pangram (Universität Chicago)

Experiment

Am Becker Friedman Institute for Economics der Universität Chicago verglichen Forscher vier KI-Detektoren: Pangram, GPTZero, Originality AI und RoBERTa (ein Open-Source-KI-Detektor). Im Rahmen der Studie wurden mit jedem Detektor 1.992 vor 2020 verfasste menschliche Texte und 1.992 KI-generierte Texte verschiedener Genres und Wortanzahlen analysiert. Sie untersuchten zwei Arten von Fehlern bei der KI-Erkennung: Falsch-positiv-Raten und Falsch-negativ-Raten. Diese Raten wurden für mehrere Schwellenwerte verglichen. Die Detektoren klassifizierten auch KI-generierte Texte aus beliebten LLMs wie ChatGPT, Claude und Gemini. Die Forscher erstellten mehrere FPR-Policy-Caps unter den Detektoren, um die Veränderungen in der FNR zu dokumentieren.

Ergebnisse

Aus der Studie „Artificial Writing and Automated Detection ” von Brian Jabarian und Alex Imas vom August 2025:

Pangram dominiert die anderen Detektoren über alle Schwellenwerte hinweg.

Pangram ist der einzige Detektor, der strenge Richtlinien (FPR ≤ 0,005) erfüllt, ohne dabei die Fähigkeit zur genauen Erkennung von KI-Texten zu beeinträchtigen.

Pangram bleibt der kostengünstigste Anbieter in allen Genres und im Durchschnitt: 0,0228 US-Dollar pro korrekt markierter KI-Passage gegenüber 0,0416 US-Dollar für OriginalityAI und 0,0575 US-Dollar für GPTZero. Damit ist Pangram der kostengünstigste Detektor sowohl für Passagen in voller Länge als auch für Stubs.

Die Studie ergab Folgendes:

Pangram erreicht bei mittel- bis langen Passagen im Wesentlichen eine Falsch-Positiv-Rate und eine Falsch-Negativ-Rate von Null.

Die hohe Genauigkeit von Pangram wurde in verschiedenen Textgenres wie Blogs, Rezensionen, Lebensläufen, Nachrichten und Romanen gelobt. Bei kürzeren Texten steigen die Falsch-Positiv- und Falsch-Negativ-Raten leicht an, „bleiben aber deutlich unter den angemessenen Richtwertgrenzen“.

Die Forscher der UChicago wiesen auf die überlegene Leistung von Pangram im Vergleich zu anderen verfügbaren KI-Detektoren hin. Bei einer FPR-Obergrenze von 0,0001 „schneiden weder GPTzero noch Originality.AI unter den strengsten FPR-Richtlinien besonders gut ab. ... Pangram erreicht bei den meisten LLM-Modellen immer noch eine FNR-Rate von etwa 0,01.“

Pangram sagt nicht mehr für Texte mit weniger als 50 Wörtern voraus, aber wie in der Studie erwähnt,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Pangrams Leistung gegen Humanizers (Universität Maryland)

Experiment

In Experiment 1 dieser UMD-Studie wurden Annotatoren mit unterschiedlichen Kenntnissen über LLMs eingesetzt, um vorherzusagen, ob ein Text von einer KI generiert wurde oder nicht. Nachdem festgestellt wurde, dass ein Annotator bei der Identifizierung von KI-Texten nahezu perfekt war, wurden vier weitere erfahrene Annotatoren mit ähnlichem Hintergrund in der Verwendung von LLMs eingesetzt, um dieselbe Stichprobe von 60 Texten zu klassifizieren. Die Ergebnisse der Expertenstimmen wurden mit kommerziellen Detektoren wie Pangram, Pangram Humanizer und GPTZero sowie mit Open-Source-Tools wie Fast-DetectGPT verglichen. Während dieses Prozesses wurde Pangram mit anderen Detektoren verglichen.

Pangrams konsistente Leistung gegenüber paraphrasierten und humanisierten Texten

Ergebnisse

Pangram kann von KI generierte Texte, die wie von Menschen geschrieben wirken, genau erkennen. Dies wird von Informatikern der UMD bestätigt, die festgestellt haben, dass Pangram bei der Erkennung von Humanisierern und paraphrasierten Texten mit einer Genauigkeit von 99,3 % die höchste Gesamtpunktzahl erzielte und damit andere KI-Erkennungssoftware übertraf.

Erfahren Sie mehr darüber, wie Pangram im Vergleich zu Humanizern abschneidet.

Pangram-Bewertungen außerhalb von Forschungseinrichtungen

Amanda Caswell von Tom's Guide erklärte in einem Artikel, dass Pangram nach dem Testen Dutzender KI-Erkennungs-Tools „die anderen, die ich ausprobiert habe, übertroffen hat“. Pangram arbeitete außerdem fleißig daran, die ohnehin schon geringe Anzahl von Fehlalarmen weiter zu reduzieren.

David Gewirtz von ZDNET beschreibt Pangram als „Neuling in unseren Tests, der sofort in die Gewinnerrunde aufgestiegen ist“.

Da die Verwendung von KI in Forschungsarbeiten zugenommen hat, besteht die Sorge, dass dies ein Indikator für Fehlverhalten ist. Adam Day hat in seinem Medium -Artikel die KI-Erkennung von Pangram genutzt, um zuverlässige Ergebnisse zur Verbreitung von KI-Inhalten zu erhalten, und kam gleichzeitig zu dem Schluss, dass es legitime Anwendungsfälle für generative KI in der Forschung gibt. Day empfiehlt die Verwendung von Pangram für Forschungszwecke und sagt: „Wenn jemand eine Umfrage zur Verwendung von genAI in der veröffentlichten Literatur durchführen möchte, bietet Pangram mit seinen Tools meiner Meinung nach eine hervorragende Möglichkeit dafür.“

Verwendung der Ergebnisse von Pangram in seriösen Forschungsarbeiten (Universität Maryland)

Forscher der UMD (in Zusammenarbeit mit Microsoft und Pangram) haben die Ergebnisse der KI-Erkennung von Pangram in einer aktuellen Studie verwendet, um anhand einer Stichprobe von 186.000 Zeitungsartikeln das Vorkommen von KI-generierten Texten in den Nachrichten zu analysieren. Es wurde zwar ein geringer Prozentsatz an KI-generierten Nachrichten festgestellt, jedoch wurde die Verwendung von KI nicht offengelegt. Mit Pangram wurden „219 Artikel mit KI-Inhalten auf den Meinungsseiten der New York Times, des Wall Street Journal und der Washington Post” identifiziert.

Die Studie konnte Nuancen bei der Nutzung von KI aufzeigen, wie zum Beispiel:

Reporter, die ihre eigenen Artikel schreiben, sind sich möglicherweise nicht bewusst, dass die Personen, die sie in ihren Artikeln zitieren, KI verwendet haben, um ihre Antworten zu erstellen.

KI in den Nachrichten mithilfe der Pangram-Erkennung

Schlussfolgerung

Wir bei Pangram glauben, dass Transparenz für Vertrauen unerlässlich ist. Wir würden uns freuen, mit Ihnen zusammenzuarbeiten, um KI-Transparenz in Ihrem Unternehmen zu verwirklichen.