Bewertungen von Pangrammen durch Dritte

Wir halten es für wichtig, dass sich Institutionen auf die hohe Genauigkeit von Pangram verlassen können, und empfehlen daher eine unabhängige Überprüfung unserer Qualitätskennzahlen (Falsch-Positive und Falsch-Negative). Im Folgenden stellen wir Bewertungen von Pangram vor, die von Forschern der University of Chicago (UChicago) und der University of Maryland (UMD) sowie von kommerziellen Gutachtern stammen.

Das Wichtigste auf einen Blick: Die internen Tests von Pangram halten einer Überprüfung durch Dritte stand.

Zuverlässigkeit und Genauigkeit von Pangram (Universität Chicago)

Experiment

Am Becker Friedman Institute for Economics der University of Chicago verglichen Forscher vier KI-Detektoren: Pangram, GPTZero, Originality AI und RoBERTa (ein Open-Source-KI-Detektor). Im Rahmen der Studie wurden mit jedem Detektor 1.992 von Menschen verfasste Texte aus der Zeit vor 2020 sowie 1.992 KI-generierte Texte aus verschiedenen Genres und mit unterschiedlicher Wortanzahl analysiert. Sie untersuchten zwei Arten von Fehlern bei der KI-Erkennung: Falsch-Positiv-Raten und Falsch-Negativ-Raten. Diese Raten wurden für verschiedene Schwellenwerte verglichen. Die Detektoren klassifizierten zudem KI-generierte Texte aus beliebten LLMs wie ChatGPT, Claude und Gemini. Die Forscher legten für die Detektoren verschiedene Obergrenzen für die FPR-Rate fest, um die Veränderungen der FNR zu beobachten.

Ergebnisse

Aus der Studie „Artificial Writing and Automated Detection “ von Brian Jabarian und Alex Imas vom August 2025:

Pangram übertrifft die anderen Detektoren bei allen Schwellenwerten.

Pangram ist der einzige Detektor, der eine strenge Richtwertgrenze (FPR ≤ 0,005) einhält, ohne dabei die Fähigkeit zur genauen Erkennung von KI-Text zu beeinträchtigen.

Pangram ist nach wie vor der Preisführer in allen Genres und liegt im Durchschnitt bei 0,0228 US-Dollar pro korrekt markiertem KI-Textabschnitt, gegenüber 0,0416 US-Dollar bei OriginalityAI und 0,0575 US-Dollar bei GPTZero. Damit ist Pangram der kostengünstigste Detektor sowohl für vollständige Textabschnitte als auch für Textentwürfe.

Die Studie ergab, dass:

Pangram erzielt bei mittellangen bis langen Textpassagen praktisch keine Falsch-Positiv- und Falsch-Negativ-Raten.

Die hohe Genauigkeit von Pangram wurde in verschiedenen Textgattungen wie Blogs, Rezensionen, Lebensläufen, Nachrichten und Romanen gelobt. Bei kürzeren Texten steigen die Falsch-Positiv- und Falsch-Negativ-Raten zwar leicht an, „bleiben aber deutlich unter den als angemessen geltenden Schwellenwerten“.

Die Forscher der University of Chicago hoben die überlegene Leistung von Pangram im Vergleich zu anderen verfügbaren KI-Detektoren hervor. Bei einer FPR-Obergrenze von 0,0001 „schneiden weder GPTzero noch Originality.AI unter den strengsten FPR-Richtlinien besonders gut ab. […] Pangram erreicht bei den meisten LLM-Modellen dennoch eine FNR-Rate von etwa 0,01.“

Pangram liefert keine Vorhersagen mehr für Texte mit weniger als 50 Wörtern, doch wie in der Studie angemerkt,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Pangrams Auftritt gegen die Humanizers (Universität Maryland)

Experiment

In Experiment 1 dieser UMD-Studie wurden Annotatoren mit unterschiedlichen Kenntnissen über LLMs eingesetzt, um vorherzusagen, ob ein Text von einer KI generiert wurde oder nicht. Nachdem festgestellt wurde, dass ein Annotator KI-Texte nahezu fehlerfrei identifizieren konnte, wurden vier weitere erfahrene Annotatoren mit ähnlichem Hintergrund in der Nutzung von LLMs eingesetzt, um dieselbe Stichprobe von 60 Texten zu klassifizieren. Die Ergebnisse der Expertenbewertungen wurden mit kommerziellen Detektoren wie Pangram, Pangram Humanizer und GPTZero sowie mit Open-Source-Tools wie Fast-DetectGPT verglichen. Im Rahmen dieses Prozesses wurde Pangram mit anderen Detektoren verglichen.

Pangrams konsistente Leistung im Vergleich zu umformulierten und humanisierten Texten

Ergebnisse

Pangram kann von KI generierte Texte, die wie von Menschen verfasst wirken, präzise erkennen. Dies wird von Informatikern der UMD bestätigt, die festgestellt haben, dass Pangram bei der Erkennung von „Humanizern“ und umformulierten Texten insgesamt die höchste Punktzahl erzielte und mit einer Genauigkeit von 99,3 % andere KI-Erkennungssoftware übertraf.

Erfahren Sie mehr darüber, wie sich Pangram im Vergleich zu Humanizern schlägt

Bewertung von Pangram außerhalb von Forschungseinrichtungen

Amanda Caswell von Tom’s Guide erklärte in einem Artikel, dass Pangram nach dem Testen Dutzender Tools zur KI-Erkennung „die anderen von mir getesteten Tools übertraf“. Es zeigte sich zudem, dass Pangram intensiv daran arbeitet, die ohnehin schon geringe Anzahl an Fehlalarmen weiter zu reduzieren.

David Gewirtz von ZDNET beschreibt Pangram als „einen Neuling in unseren Tests, der sich sofort einen Platz unter den Gewinnern gesichert hat.“

Da der Einsatz von KI in wissenschaftlichen Arbeiten zugenommen hat, besteht die Sorge, dass dies ein Anzeichen für wissenschaftliches Fehlverhalten sein könnte. Adam Day nutzte in seinem Medium-Artikel die KI-Erkennung von Pangram, um zuverlässige Ergebnisse zur Verbreitung von KI-Inhalten zu erhalten, kam jedoch gleichzeitig zu dem Schluss, dass es legitime Anwendungsfälle für generative KI in der Forschung gibt. Day empfiehlt die Nutzung von Pangram für Forschungszwecke und sagt: „Wenn jemand eine Umfrage zur Nutzung von generativer KI in der veröffentlichten Literatur durchführen möchte, bietet sich meiner Meinung nach eine hervorragende Gelegenheit, dies mit den Tools von Pangram zu tun.“

Verwendung der Pangram-Ergebnisse in seriösen Forschungsarbeiten (Universität Maryland)

Forscher der UMD (in Zusammenarbeit mit Microsoft und Pangram) haben in einer aktuellen Studie die Ergebnisse der KI-Erkennung von Pangram genutzt, um anhand einer Stichprobe von 186.000 Zeitungsartikeln das Vorkommen von KI-generierten Texten in den Nachrichten zu analysieren. Zwar wurde festgestellt, dass nur ein geringer Prozentsatz der Nachrichten KI-generiert war, doch wurde der Einsatz von KI nicht offengelegt. Mithilfe von Pangram wurden „219 Artikel mit KI-Inhalten auf den Meinungsseiten der New York Times, des Wall Street Journal und der Washington Post“ identifiziert.

Die Studie konnte Nuancen bei der Nutzung von KI aufzeigen, wie zum Beispiel:

Reporter, die ihre Artikel selbst verfassen, sind sich möglicherweise nicht bewusst, dass die Personen, die sie in ihren Artikeln zitieren, ihre Antworten mithilfe von KI verfasst haben.

KI in den Nachrichten mithilfe der Pangram-Erkennung

Fazit

Wir bei Pangram sind davon überzeugt, dass Transparenz die Grundlage für Vertrauen ist. Wir würden uns freuen, gemeinsam mit Ihnen Transparenz in Bezug auf KI in Ihrem Unternehmen zu etablieren.