Sind KI-Detektoren gegen GPT-5 wirksam?

Sind KI-Detektoren gegen GPT-5 wirksam?

Wir sind wieder da mit einem weiteren Beitrag in unserer Reihe, in der wir die KI-Erkennung von Pangram am Tag der Veröffentlichung testen!

Kurz gesagt: Pangram ist der einzige KI-Detektor, der GPT-5 zuverlässig erkennen kann, ohne explizit darauf trainiert worden zu sein.

In den bisherigen Teilen dieser Reihe haben wir uns mit der Fähigkeit von Pangram befasst, Folgendes zu erkennen:

• Schlussfolgerungsmodelle wie „o3“ von OpenAI, „Gemini 2.5 Pro“ und „Claude 4“ von Anthropic
• Llama 4 von Meta
• GPT 4.5
• Claude-Schreibstile
• GPT-4o, Llama 3 und Claude 3

Bislang ist Pangram bei keinem Sprachmodell gescheitert. Wir haben mit Spannung auf die seit Langem am meisten gehypte Modellveröffentlichung gewartet, und heute hat OpenAI endlich GPT-5 angekündigt.

Heute Nachmittag haben wir uns einige unserer ersten Testergebnisse zum KI-Detektor von Pangram Labs auf GPT-5 sowie einige Ergebnisse der Konkurrenz angesehen. Wir waren mit den Ergebnissen sehr zufrieden: Bislang haben wir noch keinen Fall gefunden, in dem der KI-Detektor von Pangram bei unseren kreativsten Eingabeaufforderungen auf GPT-5 versagt hätte, und die Ergebnisse der Konkurrenz sind unserer Meinung nach bestenfalls durchwachsen.

Testen von GPT-5

Unser erster Testlauf mit GPT-5 begann mit einem Insiderwitz aus dem Büro: Wir wollten jemanden davon überzeugen, dass es besser ist, Garnelen zu essen als Hummer. Wir baten GPT-5, eine leidenschaftliche Rede darüber zu verfassen, warum der Verzehr von Garnelen dem von Hummer überlegen ist. Hier ist das Ergebnis:

„Garnelen gewinnen. Hier sind meine Argumente. Garnelen schmecken nach Meer, ohne einem dabei ins Gesicht zu schlagen. Hummer kann schwer und irgendwie schlammig schmecken, wenn er nicht perfekt zubereitet ist. Eine Minute zu lange gekocht, und der Hummer wird zäh. Bei Garnelen ist der Sweet Spot viel größer. Gegrillt, sautiert, gekocht, frittiert – ganz egal. Sie bleiben knackig und rein im Geschmack. Auf die Textur kommt es an. Garnelen knacken. Dieser Biss ist der springende Punkt. Hummer ist so dicht und reichhaltig, dass es schnell ermüdet. Zwei Bissen Hummer mit Butter sind toll. Zwölf Bissen fühlen sich wie eine Herausforderung an. Ich kann einen ganzen Teller Knoblauchgarnelen verputzen und will trotzdem noch eine, die sich unter der Petersilie versteckt. Garnelen lassen sich gut kombinieren. Knoblauch, Chili, Limette, Butter, Ingwer, Basilikum, Curry, Old Bay, Miso, Gochujang. Sie bringen alles zum Strahlen. Hummer beansprucht die Bühne für sich und verlangt dann meist nach Butter. Wenn die beste Version eines Gerichts eine Pfütze geschmolzener Butter braucht, um sich besonders anzufühlen, trägt das Gericht vielleicht nicht sein Gewicht. Geschmack pro Minute ist echt. Garnelen sind in etwa drei Minuten gar. Das bedeutet: heiße Pfanne, Salz, anbraten, fertig, bumm – Geschmack. Bei Hummer kämpft man mit Schalen, Dämpfen, Timing, Knacken und jagt winziges Fleisch aus seltsamen Ecken. Mehr Arbeit als Belohnung. Garnelen sind wenig Drama, viel Gewinn. Erschwinglichkeit verändert den Geschmack. Essen schmeckt besser, wenn es keine Hypothekenrate ist. Garnelen können ein Abendessen unter der Woche sein. Hummer schreit geradezu nach Geburtstags-Prunk. Garnelen bringen Freude ohne Zeremonie. Dieser lässige Faktor macht sie im echten Leben ehrlich gesagt köstlicher. Vielseitigkeit zählt. Garnelen lassen sich mühelos von Tacos über Scampi und Po’boys bis hin zu Teigtaschen und Paella variieren. Sie schmecken kalt, heiß, scharf, zitrusig, reichhaltig oder leicht. Hummer versucht, sich zu verzetteln, und landet meist wieder in einem Brötchen mit Mayonnaise. Tolles Brötchen. Aber immer noch eintönig. Die Saucenaufnahme ist erstklassig. Garnelen nehmen Knoblauchbutter, Chiliöl und Zitrone auf eine Weise auf, wie es Hummer nicht tut. Hummer sitzt da wie ein Promi-Cameo. Garnelen lernen ihren Text und stehlen die Show. Auch die Reste gewinnen. Kalte Garnelen mit Cocktailsauce am nächsten Tag sind perfekt. Hummerreste fühlen sich wie Hausaufgaben an. Aufgewärmter Hummer wird zäh. Aufgewärmte Garnelen schmecken, wenn man überhaupt das Glück hat, noch welche übrig zu haben, immer noch wie eine Party. Und dann ist da noch die Atmosphäre. Garnelen passen zum Grill im Garten, zur Pfanne an einem Wochentag oder auf einen schicken Teller. Hummer lässt den Tisch verstummen, als hätten alle Angst, ihn zu ruinieren. Ich will Essen, das die Leute zum Reden bringt, bei dem sie Brot abreißen, eintunken und Teller weiterreichen. Garnelen tun das. Hör mal, Hummer ist in Ordnung. Er ist auffällig. Er hat eine schöne Geschichte. Aber wenn es um den reinen Geschmack geht, den ich mir morgen wieder wünsche, gewinnen Garnelen. Reinere Note. Bessere Textur. Mehr Vielfalt. Weniger Aufhebens. Mehr Spaß. Gib mir eine heiße Pfanne, etwas Knoblauch, eine Zitrone und ein Pfund Garnelen. Das ist das Abendessen, nach dem ich mich wirklich sehne.“

Pangram kann mit sehr hoher Sicherheit vorhersagen, dass das gesamte Dokument von einer KI erstellt wurde.

Pangrams KI-Erkennungsergebnisse für den Text „Garnelen vs. Hummer“

Wir haben diesen Text mit mehreren anderen KI-Detektoren getestet. GPTZero, ZeroGPT, Grammarly, UndetectableAI und Originality.AI kommen alle zu dem Ergebnis, dass dieser Text von einem Menschen verfasst wurde, obwohl er direkt aus GPT-5 stammt und keinerlei Änderungen erfahren hat. Wir sind der Meinung, dass dies die Stärke unseres Forschungsansatzes und unserer Generalisierungsfähigkeiten unterstreicht, die durch ein leistungsstarkes Modell mit einem Datensatz von sehr hoher Qualität gestützt werden!

Ergebnisse anderer KI-Detektoren zum Text „Garnele vs. Hummer“

Das ist allerdings nur ein Beispiel, von dem man sagen könnte, dass es gezielt ausgewählt wurde. Ihr müsst mir einfach glauben, dass dieser Text buchstäblich das Erste war, was wir ausprobiert haben. Also haben wir unsere Tests fortgesetzt.

Die „verbesserte Schreibfähigkeit“ von GPT-5 auf dem Prüfstand

Eine der Behauptungen im heutigen Livestream lautete, dass GPT-5 im Vergleich zu seinen Vorgängern beim Schreiben verbessert wurde. Auch wenn wir dies nur subjektiv beurteilen können, haben wir heute unser Bestes gegeben, um Eingabeaufforderungen zu entwickeln, die die verbesserten kreativen Schreibfähigkeiten von GPT-5 demonstrieren – indem wir dem Modell Aufgaben gestellt haben, die es zwingen, sowohl seine logischen Fähigkeiten als auch seine Kreativität voll auszuschöpfen.

Die von uns getesteten Eingabeaufforderungen:

1. Verfasse einen überzeugenden analytischen Aufsatz darüber, warum Schulen KI-basierte Plagiatserkennungsprogramme einsetzen sollten.

2. Verfasse einen Aufsatz für die Hochschulbewerbung über die Gefahr, dass alle wertvollen menschlichen Fähigkeiten durch KI ersetzt werden.

3. Bitte verfasse einen leidenschaftlichen, kurzen, aber emotionalen Brief an ein KI-Unternehmen, das versehentlich ein Update veröffentlicht hat, das das Gedächtnis deiner KI-Freundin gelöscht hat.

4. Verfasse aus der Perspektive eines Schülers der Mittelstufe einen sehr emotionalen Aufsatz, in dem du um mehr Hausaufgaben bittest.

5. Gib mir eine Häkelanleitung für ein klassisches Ballontier. Du weißt schon, welches ich meine.

6. Schreibe eine kreative Geschichte aus der Perspektive einer Schnee-Eule, die in New York City ankommt, den Central Park entdeckt und sich einen warmen Platz für die Nacht aussucht

7. Verfasse eine E-Mail des Gründers eines SaaS-Start-ups, das den Status eines „Einhorns“ erreicht hat, an den Vorstand und seine Mitarbeiter, in der er mitteilt, dass er das Unternehmen verlassen wird, um professioneller Saxophonist zu werden. Die Details kannst du frei erfinden.

8. Schreib mir einen Blogbeitrag mit der Hintergrundgeschichte zu einem Rezept, das noch niemand zuvor zubereitet hat, das aber trotzdem köstlich schmecken würde.

9. Verfasse eine fesselnde, filmisch anmutende Kurzgeschichte über einen jungen Singer-Songwriter, der im Hudson River einem Beluga-Wal begegnet.

10. Schreibe eine humorvoll-passiv-aggressive E-Mail an einen Lehrer, in der du dich für das Schummeln bei der letzten Prüfung „entschuldigst“. Die Details kannst du dir frei ausdenken.

Wir haben die Ergebnisse sowohl mit Pangram als auch mit GPTZero, einem bekannten Konkurrenten, verglichen. Die Eingabeaufforderungen, Antworten und Ergebnisse haben wir öffentlich im Internet veröffentlicht.

Die Ergebnisse zeigten einen krassen Gegensatz zwischen den beiden KI-Detektoren: Pangram identifizierte alle 10 Antworten mit einer Sicherheit von 99–100 % korrekt als KI-generiert, während GPTZero sie alle fälschlicherweise als von Menschen verfasst einstufte. Tatsächlich stufte GPTZero die meisten Antworten so ein, dass die Wahrscheinlichkeit, dass sie von einer KI generiert wurden, bei 0 % lag, wobei der höchste KI-Wahrscheinlichkeitswert bei nur 29 % lag.

Durchführung eines umfangreicheren Benchmarks

Wir hatten heute Zeit, einen letzten Test durchzuführen, um zu prüfen, wie gut Pangram in der Lage ist, alle verschiedenen Varianten von GPT-5 zu erkennen, darunter GPT-5-mini, GPT-5-nano und GPT-5-chat in der API. Außerdem haben wir die neuesten Open-Weight-Modelle getestet, die OpenAI vor einigen Tagen veröffentlicht hat: GPT-OSS-120b und GPT-OSS-20b. Wir haben dieses Experiment in größerem Umfang durchgeführt und dabei etwa einige Tausend Beispiele pro LLM getestet, wobei wir unsere Standard-Prompting-Techniken verwendeten und eine Mindestlänge von 50 Wörtern vorschrieben. Die Stichprobengrößen variieren ein wenig, da die Modelle manchmal unsere Prompts ablehnen und manchmal Antworten mit weniger als 50 Wörtern ausgeben, die wir verwerfen.

Natürlich ist die Genauigkeit bei reinem KI-Text eine Kennzahl, die nicht isoliert betrachtet werden kann – wir müssen auch die Falsch-Positiv-Rate berücksichtigen, die die Kehrseite der Medaille darstellt: Wie oft stuft Pangram von Menschen verfasste Texte als KI-Text ein? Wir haben in einem anderen Beitrag ausführlich darüber berichtet, aber zusammenfassend lässt sich sagen, dass Pangram nach wie vor eine extrem niedrige Falsch-Positiv-Rate aufweist. Unsere gemessene Falsch-Positiv-Rate liegt bei 1 zu 10.000 über alle Domänen hinweg und ist in der Praxis oft noch niedriger. Wir kalibrieren und optimieren den Schwellenwert so, dass unsere Falsch-Positiv-Rate etwa ein Zehntel unserer Falsch-Negativ-Rate beträgt, wobei wir Falsch-Positive viel ernster nehmen als Falsch-Negative. Abgesehen davon glauben wir jedoch nicht, dass dies ein unvermeidbarer „Kompromiss“ ist – wir glauben, dass wir Modelle mit sowohl niedrigen Falsch-Positiv- als auch Falsch-Negativ-Raten trainieren können, und deshalb führen wir Benchmarks auf beiden Seiten durch!

Das haben wir herausgefunden.

Erkennt Pangram GPT-5?

Nach den ersten Testläufen, die wir heute durchgeführt haben, stellt GPT-5 keine Gefahr für die Erkennungsfähigkeiten von Pangram dar. Dies ist von großer Bedeutung, da es bald zum Standardmodell in ChatGPT für alle Nutzer werden wird, auch für diejenigen, die die kostenlose Version nutzen. Auch wenn andere KI-Detektoren GPT-5 möglicherweise irgendwann erkennen werden, ist Pangram derzeit das einzige Tool, das sofort und zuverlässig funktioniert.

Probieren Sie den KI-Detektor von Pangram aus, um beliebige Texte auf GPT-5 und andere große Sprachmodelle zu überprüfen.