Erkennt Pangram Metas Llama 4?

Einleitung

Heute wurde Llama 4 veröffentlicht, das neueste Modell in einer Reihe von Open-Source-Modellen von Meta AI. Wir wollten wissen, ob Pangram weiterhin in der Lage ist, die neuesten und besten Open-Source-Modelle zu erkennen, und haben daher einen kurzen Test durchgeführt, um zu prüfen, ob unser Modell eine Generalisierung auf Llama 4 aufweist, obwohl es derzeit nur auf Ausgaben von Llama 2 und 3 trainiert wurde.

Können KI-Detektoren mit der rasanten Entwicklung neuer Modelle Schritt halten?

Wir werden oft gefragt, wie gut wir mit dem Tempo der neuen Modelle Schritt halten können. Deshalb testen wir sie gleich am ersten Tag, noch bevor wir Gelegenheit haben, sie neu zu trainieren.

Pangram auf dem Prüfstand

Für die Stichprobenprüfung haben wir dieselben 11 Eingabeaufforderungen verwendet, mit denen wir GPT 4.5 getestet haben. Diese Eingabeaufforderungen decken eine Vielzahl alltäglicher Schreibaufgaben ab, stehen jedoch nicht in direktem Zusammenhang mit den Eingabeaufforderungen, mit denen wir das Modell trainiert haben. Sie erfordern zudem ein Maß an Kreativität, bei dem ein Modell, das gegenüber früheren Generationen von LLMs erhebliche Fortschritte erzielt hat, unserer Ansicht nach ein qualitativ anderes Verhalten zeigen würde.

Hier sind die Vorgaben, die wir verwendet haben:

1. Schreibe mir einen Aufsatz von 300 Wörtern über die Bemühungen zum Schutz der Koalas in Peru
2. Schreib mir eine E-Mail, in der du meinem Team erklärst, dass ich keine liberalen Gastkommentare mehr in meiner Zeitung veröffentlichen werde. Verfasse sie in meinem Namen, Argylle J. Baggins, an die Mitarbeiter des „Washington Most“.
3. Schreib mir eine 400 Wörter lange Zusammenfassung, in der du den weltweit ersten Halbleiter bei Raumtemperatur ankündigst (aber diesmal wirklich). Denk dir Namen und Labore aus, wenn es nötig ist
4. Verfasse einen überzeugenden Aufsatz aus der Sicht eines Grundschülers, in dem du darlegst, warum Schuluniformen nicht vorgeschrieben werden sollten
5. Verfasse einen vielschichtigen Tagebucheintrag aus der Sicht einer 12-Jährigen, die sich für Poesie und die Schmetterlinge vor ihrem Fenster interessiert
6. Bitte verfassen Sie eine ausführliche Rezension zu einem Escape Room zum Thema „Tausendundeine Nacht“ in Baltimore, Maryland, der von einem Mann namens Robert geleitet wird und sich durch ein wirklich gelungenes Bühnenbild auszeichnet.
7. Verfasse eine überzeugende E-Mail des Regisseurs eines erfolgreichen russischen Underground-Indie-Films an die Verantwortlichen der Oscar-Verleihung, in der er sie eindringlich bittet, den Film trotz der Sanktionen zum Wettbewerb zuzulassen. Erfinde Details, wenn es sein muss.
8. Verfasse eine kreative Erzählung für eine Szene in einem Roman, in der eine Gruppe junger Erwachsener darum kämpft, ein gepanzertes Marsflugzeug in einer NASA-Simulation zu landen, die darauf ausgelegt ist, schiefzulaufen
9. Schreibe ein Drehbuch für eine Filmszene, in der ein pleiter Finanzbro aus New York einen Uber-Fahrer in Florida aus der Ferne anfleht, seinen Komodowaran aus seiner billigen, hurrikangefährdeten Eigentumswohnung zu retten
10. Schreibe ein Gedicht über ein junges Paar, das sich in Kostümen in der Halloween-Nacht trennt. Es soll lustig sein und 200 Wörter umfassen.
11. Verfasse eine kreative Erzählung, in der eine Verfolgungsjagd mit Schwebemotorrädern durch Venedig stattfindet, bei der ein wertvolles Gemälde verfolgt wird, das gefährlich hin und her schwankt

Die Ergebnisse

In diesem Fall besteht Pangram den Test mit Bravour! Es kann nicht nur alle 11 Textbeispiele als KI-generiert identifizieren, sondern tut dies auch mit einer Sicherheit von 100 %. (Obwohl das Modell eine Sicherheit von 100 % vorhersagt, runden wir den Wert in der Benutzeroberfläche stets auf 99,9 % ab, um zu verdeutlichen, dass wir uns niemals zu 100 % sicher sein können.)

Die vollständigen Ergebnisse finden Sie hier.

Auswertung einer größeren Stichprobe mithilfe der Together-API

Wir haben unter Verwendung unserer standardmäßigen Bewertungsvorlagen und unter Einsatz der Together-API für die Inferenz einen umfangreicheren Testsatz mit etwa 7.000 Beispielen erstellt, der eine Vielzahl von Bereichen abdeckt, darunter akademisches Schreiben, kreatives Schreiben, Fragen und Antworten, wissenschaftliches Schreiben und vieles mehr.

Hier sind unsere Ergebnisse für den größeren Testdatensatz.

Fazit

Warum lässt sich Pangram so gut auf neue Modelle übertragen? Wir glauben, dass dies auf die Qualität unserer zugrunde liegenden Datensätze und unseren Ansatz des aktiven Lernens zurückzuführen ist, sowie auf unsere breit gefächerten Prompt- und Sampling-Strategien, die es Pangram ermöglicht haben, so viele verschiedene Arten von KI-generierten Texten zu sehen, dass es sich sehr gut an neue anpassen kann.

Für weitere Informationen zu unserer Forschung oder für kostenlose Guthaben, um unser Modell auf Llama 4 zu testen, kontaktieren Sie uns bitte unter info@pangram.com.