Können KI-Detektoren GPT-4.5 erkennen?

Können KI-Detektoren GPT-4.5 erkennen? | Pangram Labs

GPT-4.5 veröffentlicht

Heute hat OpenAI GPT-4.5 veröffentlicht: das neueste und größte verfügbare Sprachmodell und ein bedeutendes Update für ChatGPT. Obwohl es keine mit Reasoning-Modellen wie DeepSeek R1 und OpenAI O3 vergleichbaren Benchmark-Statistiken erreicht, ist GPT-4.5 die bislang größte und mit Spannung erwartete Modellveröffentlichung des Jahres, und wir freuen uns darauf, es zu testen. OpenAI behauptet, dass es große Verbesserungen bei der Schreibqualität gibt, und in den sozialen Medien gibt es bereits zahlreiche Kommentare zur Leistung.

Können KI-Detektoren mit der Geschwindigkeit neuer Modelle Schritt halten?

Wir wollten die Frage beantworten, die sich viele stellen: Können wir mit GPT-4.5 auch weiterhin KI-generierte Texte erkennen, obwohl die Modelle immer besser werden? Um das herauszufinden, haben wir heute einen kurzen Test durchgeführt.

Pangram gegen die Konkurrenz

Wir begannen mit einer Stichprobe von 11 Eingabeaufforderungen, die typische alltägliche Schreibaufgaben widerspiegeln, die man ChatGPT stellen könnte.

Hier sind die von uns verwendeten Eingabeaufforderungen:

1. Schreiben Sie mir einen 300 Wörter langen Aufsatz über die Bemühungen zum Schutz der Koalas in Peru.
2. Schreiben Sie mir eine E-Mail, in der Sie meinem Team erklären, dass ich liberale Gastkommentare in meiner Zeitung einstelle. Schreiben Sie sie in meinem Namen, Argylle J. Baggins, an die Mitarbeiter der Washington Most.
3. Schreiben Sie mir eine 400 Wörter lange Zusammenfassung, in der Sie den weltweit ersten Halbleiter bei Raumtemperatur ankündigen (aber diesmal wirklich). Erfinden Sie Namen und Labore, wenn Sie diese benötigen.
4. Verfassen Sie einen überzeugenden Aufsatz aus der Sicht eines Grundschülers, dass Schuluniformen nicht vorgeschrieben sein sollten.
5. Schreibe einen komplexen Tagebucheintrag einer 12-Jährigen, die sich für Poesie und einige Schmetterlinge vor ihrem Fenster interessiert.
6. Bitte verfassen Sie eine detaillierte Bewertung eines Escape Rooms zum Thema „Arabische Nächte“ in Baltimore, Maryland, der von einem Mann namens Robert mit einem wirklich guten Produktionsdesign betrieben wird.
7. Schreiben Sie eine überzeugende E-Mail vom Regisseur eines erfolgreichen russischen Indie-Films an die Verantwortlichen der Oscar-Verleihung, in der Sie sie eindringlich bitten, den Film trotz Sanktionen zur Teilnahme zuzulassen. Erfinden Sie Details, wenn es sein muss.
8. Schreiben Sie eine kreative Kurzgeschichte für eine Szene in einem Roman, in der eine Gruppe junger erwachsener Protagonisten darum kämpft, ein gepanzertes Marsflugzeug in einer NASA-Simulation zu landen, die darauf ausgelegt ist, schiefzugehen.
9. Schreiben Sie ein Drehbuch für eine Filmszene, in der ein pleite gegangener Finanzbro aus New York einen Uber-Fahrer in Florida aus der Ferne anfleht, seinen Komodowaran aus seiner billigen, hurrikangefährdeten Wohnung zu retten.
10. Schreibe ein Gedicht über ein junges Paar, das sich in der Halloween-Nacht in Kostümen trennt. Es soll lustig sein und 200 Wörter umfassen.
11. Schreiben Sie eine kreative Kurzgeschichte, in der eine Verfolgungsjagd mit einem schwebenden Motorrad durch Venedig stattfindet, um ein wertvolles Gemälde zu finden, das gefährlich wackelt.

Wir haben versucht, die Eingabeaufforderungen so vielfältig und abwechslungsreich wie möglich zu gestalten. Darüber hinaus haben wir versucht, Eingabeaufforderungen zu schreiben, die einen möglichst deutlichen qualitativen Unterschied zu den bisherigen GPT-Modellen aufweisen: Mit anderen Worten, wenn sich für das Modell die Gelegenheit bot, kreativ zu sein und den „Wow“-Faktor zu demonstrieren, haben wir unser Bestes getan, um GPT-4.5 diese Gelegenheit zu bieten.

Die Ergebnisse – KI-Detektoren vs. GPT-4.5

Aufforderung	Pangram	Führender Wettbewerber 1	Führender Wettbewerber 2
Koala-Schutz	100%	100%	100%
Zeitung E-Mail	100%	100%	67%
Halbleiter bei Raumtemperatur	100%	56%	86%
Schuluniformen	85%	100%	80%
Gedichttagebuch	100%	100%	15%
Escape Room Bewertung	100%	81%	56%
Russischer Film E-Mail	100%	100%	91%
Marslandungsszene	100%	43%	7%
Komodowaran-Skript	98%	88%	0%
Halloween-Trennungsgedicht	100%	100%	0%
Verfolgungsjagd in Venedig	100%	49%	9%

Pangram ist in der Lage, alle 11 mit GPT-4.5 verfassten Aufsätze zu erkennen, selbst wenn keine GPT-4.5-Daten im Trainingssatz enthalten sind. Im Vergleich dazu liefern zwei führende KI-Erkennungs-Konkurrenten bestenfalls lückenhafte Ergebnisse. Während Pangram 10 von 11 Beispielen mit einer KI-Wahrscheinlichkeit von 98 % oder höher zuverlässig vorhersagen kann, äußern die Konkurrenten oft ein hohes Maß an Unsicherheit oder sagen im schlimmsten Fall mit hoher Sicherheit voraus, dass der Text von Menschen verfasst wurde.

Wie lässt sich Pangram so gut auf neue Modelle übertragen?

Pangram ist selbst ein großes maschinelles Lernmodell, das Millionen von Beispielen sowohl für von Menschen als auch für KI generierte Texte gesehen hat. Große Modelle neigen dazu, besser zu verallgemeinern und nehmen subtile Muster in KI-generierten Texten wahr, die andere nicht erkennen können. Unser aktiver Lernansatz senkt unsere Falsch-Positiv-Rate weiter und erhöht gleichzeitig unsere Sensitivität, sodass das Modell in großem Maßstab gut funktioniert und viel effektiver als die Modelle unserer Mitbewerber auf neue LLMs verallgemeinert werden kann. Darüber hinaus führt unser Fokus auf Datenqualität und -vielfalt letztendlich zu einem Modell, das viel mehr Erfahrung im Verstehen feiner Details hat, die andere Modelle nicht erkennen können.

Fazit – Funktionieren KI-Detektoren noch mit GPT-4.5?

Ja, unser KI-Erkennungstool ist nach wie vor sehr effektiv bei der Erkennung von mit GPT-4.5 generierten Texten.

Wenn Sie sich also fragen, wie gut Pangram abschneiden wird, wenn ein neues, größeres und besseres Modell auf den Markt kommt, dann kann Pangram den Test mit der mit Spannung erwarteten KI-Version, die wir seit langem gesehen haben, ohne jegliches erneutes Training bestehen. Wenn Sie nicht möchten, dass Ihre KI-Erkennungssoftware plötzlich nicht mehr funktioniert, wenn OpenAI das nächste Mal sein Modell aktualisiert, probieren Sie Pangram noch heute aus.

Für weitere Informationen zu unserer Forschung oder kostenlose Credits zum Testen unseres Modells auf GPT-4.5 kontaktieren Sie uns bitte unter info@pangram.com.