Können KI-Detektoren GPT-4.5 erkennen?

Können KI-Detektoren GPT-4.5 erkennen? | Pangram Labs

GPT-4.5 veröffentlicht

Heute hat OpenAI GPT-4.5 veröffentlicht: das aktuellste und umfangreichste Sprachmodell auf dem Markt und ein bedeutendes Update für ChatGPT. Auch wenn es keine Benchmark-Ergebnisse erzielt, die mit denen von Schlussfolgerungsmodellen wie DeepSeek R1 und OpenAI O3 vergleichbar sind, stellt GPT-4.5 die bislang größte und mit Spannung erwartete Modellveröffentlichung des Jahres dar, und wir freuen uns darauf, es auszuprobieren. OpenAI behauptet, dass es große Verbesserungen bei der Schreibqualität gibt, und in den sozialen Medien gibt es bereits zahlreiche erste Reaktionen auf die Leistung.

Können KI-Detektoren mit der rasanten Entwicklung neuer Modelle Schritt halten?

Wir wollten die Frage beantworten, die sich viele stellen: Können wir mit GPT-4.5 auch dann noch KI-generierte Texte erkennen, wenn die Modelle immer besser werden? Um das herauszufinden, haben wir heute einen kurzen Test durchgeführt.

Pangram im Vergleich zur Konkurrenz

Zunächst haben wir 11 Eingabeaufforderungen ausgewählt, die typische alltägliche Schreibaufgaben widerspiegeln, mit denen man ChatGPT beauftragen könnte.

Hier sind die Vorgaben, die wir verwendet haben:

1. Schreibe mir einen Aufsatz von 300 Wörtern über die Bemühungen zum Schutz der Koalas in Peru
2. Schreib mir eine E-Mail, in der du meinem Team erklärst, dass ich keine liberalen Gastkommentare mehr in meiner Zeitung veröffentlichen werde. Verfasse sie in meinem Namen, Argylle J. Baggins, an die Mitarbeiter des „Washington Most“.
3. Schreib mir eine 400 Wörter lange Zusammenfassung, in der du den weltweit ersten Halbleiter bei Raumtemperatur ankündigst (aber diesmal wirklich). Denk dir Namen und Labore aus, wenn es nötig ist
4. Verfasse einen überzeugenden Aufsatz aus der Sicht eines Grundschülers, in dem du darlegst, warum Schuluniformen nicht vorgeschrieben werden sollten
5. Verfasse einen vielschichtigen Tagebucheintrag aus der Sicht einer 12-Jährigen, die sich für Poesie und die Schmetterlinge vor ihrem Fenster interessiert
6. Bitte verfassen Sie eine ausführliche Rezension zu einem Escape Room zum Thema „Tausendundeine Nacht“ in Baltimore, Maryland, der von einem Mann namens Robert geleitet wird und sich durch ein wirklich gelungenes Bühnenbild auszeichnet.
7. Verfasse eine überzeugende E-Mail des Regisseurs eines erfolgreichen russischen Underground-Indie-Films an die Verantwortlichen der Oscar-Verleihung, in der er sie eindringlich bittet, den Film trotz der Sanktionen zum Wettbewerb zuzulassen. Erfinde Details, wenn es sein muss.
8. Verfasse eine kreative Erzählung für eine Szene in einem Roman, in der eine Gruppe junger Erwachsener darum kämpft, ein gepanzertes Marsflugzeug in einer NASA-Simulation zu landen, die darauf ausgelegt ist, schiefzulaufen
9. Schreibe ein Drehbuch für eine Filmszene, in der ein pleiter Finanzbro aus New York einen Uber-Fahrer in Florida aus der Ferne anfleht, seinen Komodowaran aus seiner billigen, hurrikangefährdeten Eigentumswohnung zu retten
10. Schreibe ein Gedicht über ein junges Paar, das sich in Kostümen in der Halloween-Nacht trennt. Es soll lustig sein und 200 Wörter umfassen.
11. Verfasse eine kreative Erzählung, in der eine Verfolgungsjagd mit Schwebemotorrädern durch Venedig stattfindet, bei der ein wertvolles Gemälde verfolgt wird, das gefährlich hin und her schwankt

Wir haben versucht, die Eingabeaufforderungen so vielfältig und abwechslungsreich wie möglich zu gestalten, und darüber hinaus haben wir uns bemüht, Eingabeaufforderungen zu verfassen, die einen möglichst deutlichen qualitativen Unterschied zu den früheren GPT-Modellen aufweisen: Mit anderen Worten: Wenn sich die Gelegenheit bot, dass das Modell kreativ sein und den „Wow“-Faktor unter Beweis stellen konnte, haben wir unser Bestes getan, um GPT-4.5 diese Gelegenheit zu bieten.

Die Ergebnisse – KI-Detektoren im Vergleich zu GPT-4.5

Pangram ist in der Lage, alle 11 von GPT-4.5 verfassten Aufsätze zu erkennen, auch wenn das Trainingsset keinerlei GPT-4.5-Daten enthält. Im Vergleich dazu liefern zwei führende Konkurrenten im Bereich der KI-Erkennung bestenfalls lückenhafte Ergebnisse. Während Pangram 10 von 11 Beispielen mit einer KI-Wahrscheinlichkeit von 98 % oder höher zuverlässig vorhersagen kann, zeigen die Konkurrenzprodukte oft ein hohes Maß an Unsicherheit oder sagen im schlimmsten Fall mit hoher Sicherheit voraus, dass der Text von Menschen verfasst wurde.

Wie schafft es Pangram, sich so gut auf neue Modelle zu übertragen?

Pangram ist selbst ein großes Modell für maschinelles Lernen, das Millionen von Beispielen sowohl für von Menschen als auch von KI generierten Text verarbeitet hat. Große Modelle lassen sich in der Regel besser verallgemeinern und erkennen subtile Muster in KI-generierten Texten, die anderen entgehen. Unser Ansatz des aktiven Lernens senkt unsere Falsch-Positiv-Rate weiter und erhöht gleichzeitig unsere Sensitivität, sodass das Modell in großem Maßstab gut funktioniert und sich viel effektiver auf neue LLMs verallgemeinern lässt als die unserer Mitbewerber. Darüber hinaus führt unser Fokus auf Datenqualität und -vielfalt letztendlich zu einem Modell, das viel mehr Erfahrung im Verstehen feinerer Details hat, die andere Modelle nicht erkennen können.

Fazit – Funktionieren KI-Detektoren bei GPT-4.5 noch?

Ja, unser KI-Erkennungstool ist nach wie vor äußerst effektiv bei der Erkennung von mit GPT-4.5 generierten Texten.

Wenn Sie sich also fragen, wie gut sich Pangram schlagen wird, wenn ein neues, größeres und besseres Modell auf den Markt kommt: Pangram besteht den Test mit der mit Spannung erwarteten KI-Neuerscheinung, die wir seit Langem gesehen haben – und das ganz ohne erneutes Training. Wenn Sie nicht möchten, dass Ihre KI-Erkennungssoftware plötzlich nicht mehr funktioniert, sobald OpenAI sein Modell das nächste Mal aktualisiert, probieren Sie Pangram noch heute aus.

Für weitere Informationen zu unserer Forschung oder für kostenlose Gutschriften, um unser Modell auf GPT-4.5 zu testen, kontaktieren Sie uns bitte unter info@pangram.com.