Technischer Bericht zur hochpräzisen Erkennung von KI-generierten Texten

Trainingsverfahren für den KI-gestützten Textklassifikator von Pangram Labs

Einleitung

Bei Pangram Labs entwickeln wir das beste KI-Modell zur Textidentifizierung, um das Internet vor einer Flut von unechten, irreführenden und minderwertigen Inhalten zu schützen. Wir sind davon überzeugt, dass Menschen in einer von großen Sprachmodellen (LLMs) geprägten Welt mit den besten Werkzeugen ausgestattet sein müssen, um die Wahrheit zu erkennen, und wir möchten die richtige Technologie bereitstellen, um diesem Bedarf gerecht zu werden.

Pangram Labs hat einen leistungsstarken Klassifikator entwickelt, der KI-generierte Texte erkennt, die in Spam oder betrügerischen Inhalten verwendet werden könnten. Um wie viel ist unser Modell besser als die anderen auf dem Markt erhältlichen Lösungen? In diesem Blogbeitrag präsentieren wir eine umfassende Analyse der Leistungsfähigkeit unseres Modells, ergänzt durch unser erstes öffentliches technisches Whitepaper.

Dieser Blogbeitrag behandelt verschiedene Themen:

• Warum ist die Erkennung von KI-generierten Texten ein wichtiges Thema?
• Welcher Detektor für KI-generierte Inhalte ist der beste?
• Warum ist eine hohe Genauigkeit wichtig?
• Welche Arten von Inhalten kann Pangram Labs erkennen?
• Wie ist Pangram Labs an die Lösung dieses Problems herangegangen?

Eine ausführlichere technische Betrachtung einschließlich der Methodik finden Sie in unserem technischen Bericht zum Pangram-Klassifikator für KI-generierte Texte.

TL;DR

Wir haben anhand von fast 2000 Dokumenten einen Wettbewerbsvergleich durchgeführt, um wichtige Genauigkeitskennzahlen zu ermitteln, darunter die Gesamtgenauigkeit sowie die Anzahl der falsch-positiven und falsch-negativen Ergebnisse.

Our text classifier outperforms academic methods and shows significantly lower error rates in a comprehensive benchmark against other available AI text detection methods. Our model demonstrates 99.85% accuracy with 0.19% false positive rate across thousands of examples across ten different categories of writing and eight commonly used large language models. Other methods fail on more capable LLMs such as GPT-4 (<=75% accuracy) while Pangram Labs sustains 99-100% accuracy across all language models tested.

Vergleich der Gesamtgenauigkeit

Einführung in KI-generierte Texte

Große Sprachmodelle (LLMs) wie ChatGPT erlebten 2023 einen explosionsartigen Anstieg ihrer Beliebtheit, als die KI-Fähigkeiten einen Wendepunkt erreichten. LLMs, die KI-Assistenten antreiben, konnten Fragen beantworten, Ideen entwickeln und Inhalte verfassen – und das alles, während sie überzeugend menschlich klangen. Dies hat einige positive Ergebnisse hervorgebracht: Informationen sind zugänglicher denn je, und Assistenten können uns bei einfachen Aufgaben Zeit sparen. Allerdings ist es nun jedem möglich, mit praktisch keinem Aufwand überzeugend menschlich klingende Texte zu erstellen – was auch seine Schattenseiten hat. Spammer können E-Mails verfassen, die schwerer zu filtern sind. Verkäufer auf Online-Marktplätzen können innerhalb von Minuten Tausende authentisch wirkender Bewertungen generieren. Böswillige Akteure können in den sozialen Medien mit Tausenden von LLM-gestützten Bots die öffentliche Meinung beeinflussen.

Leider lassen sich diese gesellschaftlichen Risiken auf der Ebene der großen Sprachmodelle nicht mindern – Sprachmodelle können nicht erkennen, ob eine Anfrage legitim ist oder ob es sich um eine von Tausenden handelt, die von einem Spammer erstellt wurden. Aus diesem Grund benötigen wir Inhaltsfilter auf der Anwendungsebene – damit menschliche Räume auch menschlich bleiben.

Warum Pangram Labs so viel Wert auf Genauigkeit legt

Wir haben viel Skepsis gegenüber diesem Arbeitsbereich gehört. Dass das Problem unlösbar sei, dass sich gezeigt habe, dass KI-Detektoren „nicht funktionieren“, oder dass man das Problem einfach durch geschickte Eingabeaufforderungen umgehen könne. Oder dass es, selbst wenn es derzeit möglich ist, nächstes Jahr schwieriger und bis zur Einführung der AGI unmöglich sein werde.

Unsere Sichtweise ist ein wenig anders. Wir sind fest davon überzeugt, dass dieses Problem nicht nur gelöst werden kann, sondern dass es sogar notwendig ist, es zu lösen. Es spielt keine Rolle, wie schwierig es ist oder wie viele Stunden wir investieren müssen, um etwas zu entwickeln, das die Nutzer nutzen und dem sie vertrauen können. Ohne unsere Arbeit ist es nur eine Frage von Jahren, bis das Internet von KI-Spammern überschwemmt wird. Die Stimmen der Menschen werden im Lärm untergehen.

Für uns bedeutet die Sicherstellung, dass das Problem gelöst ist, dass wir den Schwierigkeitsgrad unserer Testdatensätze kontinuierlich erhöhen. Bei den ersten Tests war es leicht, eine Genauigkeit von 100 % zu erreichen, doch es zeigte sich schnell, dass dies nicht die Genauigkeit in der Praxis widerspiegelte. Durch die Erstellung anspruchsvollerer Tests können wir unsere Fortschritte objektiv messen. Wir sind bereits der Ansicht, dass unser aktueller Benchmark etwas schwieriger ist als das, was Spammer in der Praxis produzieren, und dieser Benchmark ist fast vollständig ausgeschöpft. Wenn wir mit neuen Zahlen zurückkommen, könnte es so aussehen, als seien andere Methoden noch schlechter geworden, aber in Wirklichkeit werden wir mit einem schwierigeren Bewertungssatz zurückkommen, bei dem die leistungsfähigsten KIs an ihre Grenzen gebracht werden, um Texte zu erstellen, die authentisch wirken, und unser Ziel ist es, diese weiterhin mit einer Genauigkeit von 99 % zu erkennen.

Das Problem wird nie vollständig gelöst werden, aber wir müssen stetig Fortschritte erzielen, um nicht den Anschluss zu verlieren, während LLMs immer leistungsfähiger werden. Das ist es, wozu wir uns verpflichtet haben, und das werden wir bis zum Schluss weiterverfolgen.

Vergleich von KI-Erkennungswerkzeugen

In unserem technischen Bericht haben wir Pangram Labs mit den beiden führenden Tools zur KI-Erkennung sowie mit einer hochmodernen akademischen Methode zur KI-Erkennung aus dem Jahr 2023 verglichen.

Wir vergleichen:

• Pangram Labs
• GPTZero
• Originality.ai
• DetectGPT

Unser Benchmark umfasst 1.976 Dokumente – die Hälfte davon wurde von Menschen verfasst, die andere Hälfte wurde von acht der beliebtesten großen Sprachmodelle (LLMs) generiert, darunter ChatGPT und GPT-4.

Vergleich der Gesamtgenauigkeit

Eine kurze Erklärung, was diese Zahlen bedeuten:

• Genauigkeit: Wie viel Prozent aller Dokumente hat das Tool korrekt klassifiziert?
• Falsch-positiv-Rate: Wie viele der von Menschen verfassten Dokumente wurden fälschlicherweise als KI klassifiziert?
• Falsch-negativ-Rate: Wie viele der von der KI untersuchten Dokumente wurden fälschlicherweise als von Menschen verfasst eingestuft?

Um die Falsch-Positiv-Rate konkret zu veranschaulichen: 9 % bedeuten, dass jedes elfte von Menschen verfasste Dokument als KI-Text markiert wird. Eine Falsch-Positiv-Rate von 2 % bedeutet, dass jedes fünfzigste von Menschen verfasste Dokument als KI-Text markiert wird. Und 0,67 % bedeuten, dass jedes hundertfünfzigste von Menschen verfasste Dokument als KI-Text markiert wird.

Ebenso bedeutet eine Falsch-Negativ-Rate von 10 %, dass jedes zehnte KI-Dokument unentdeckt bleibt, während eine Falsch-Negativ-Rate von 1,4 % bedeutet, dass jedes siebzigste KI-Dokument unentdeckt bleibt.

Man bedenke die Auswirkungen dieser Ergebnisse. Ein Erkennungsmodell mit einer Falsch-Positiv-Rate von 9 % ist nicht vertrauenswürdig – andernfalls käme es zu einer Flut von falschen Anschuldigungen. Und ein Erkennungsmodell mit einer Falsch-Negativ-Rate von 10 % würde so viel KI-Spam durchlassen, dass die Nutzer bei jedem Angriff dennoch mit Nachrichten überschüttet würden.

Ein genauerer Blick auf die Ergebnisse

Unser Benchmark ist in zwei verschiedene Achsen unterteilt: Textdomäne und Ursprungs-LLM. „Textdomäne“ oder einfach „Domäne“ bezeichnet eine bestimmte Kategorie von Texten. So liest sich beispielsweise ein Aufsatz aus der Mittelstufe ganz anders als eine wissenschaftliche Abhandlung, die sich wiederum deutlich von einer E-Mail unterscheidet. Durch die Aufteilung der Ergebnisse in verschiedene Domänen erhalten wir einen umfassenderen Überblick darüber, in welchen Bereichen wir gut abschneiden und wo wir unsere Anstrengungen zur Verbesserung konzentrieren können.

Genauigkeit nach Textbereich

Die Ergebnisse zeigen, dass Pangram Labs GPTZero und Originality in allen zehn bewerteten Bereichen übertrifft.

Einer der Bereiche, nämlich E-Mails, schneidet besonders gut ab, da Pangram Labs keine E-Mails in seine Trainingsdaten aufnimmt. Unsere Leistung im Bereich E-Mails beruht ausschließlich auf dem Training eines robusten Modells, das sich auf die meisten Textkategorien übertragen lässt, die ein LLM erzeugen kann.

Von LLM nach Herkunft korrekt klassifizierte KI-Dokumente

Eine Aufschlüsselung nach Herkunft der LLMs zeigt ein anderes Bild: Konkurrierende KI-Erkennungsmodelle schneiden bei weniger leistungsfähigen Open-Source-Modellen besser ab, schneiden bei ChatGPT (gpt-3.5-turbo) jedoch schlechter ab und haben bei GPT-4, dem leistungsfähigsten LLM von OpenAI, erhebliche Schwierigkeiten. Wir haben mehrere Versionen der Modelle GPT 3.5 Turbo und GPT-4 evaluiert, da diese in der Praxis am häufigsten zum Einsatz kommen.

Wir haben festgestellt, dass wir das einzige Modell sind, das GPT-4-Text zuverlässig erkennen kann, und dass wir zudem bei jedem anderen von uns getesteten Modell besser abschneiden als die Konkurrenz.

Eine interessante Beobachtung ist, dass unser Wettbewerber bei den Open-Source-Modellen deutlich besser abschneidet als bei den Closed-Source-Modellen GPT und Gemini. Wir vermuten, dass dies auf eine übermäßige Abhängigkeit von Perplexity- und Burstiness-Merkmalen zurückzuführen ist – obwohl diese Merkmale wertvoll sind, lassen sich Perplexity und Burstiness nur bei einem Open-Source-Modell präzise berechnen: Bei den Closed-Source-Modellen kann man nur eine ungefähre Schätzung vornehmen. Dies zeigt den Wert unseres auf Deep Learning basierenden Ansatzes – er stützt sich nicht auf instabile Merkmale wie Perplexity und kann subtilere zugrunde liegende Muster erlernen.

Robustheit

Eine Frage, die uns oft gestellt wird, lautet: Was passiert, wenn ein neues Sprachmodell veröffentlicht wird? Muss man das Modell jedes Mal neu trainieren, um dessen Ausgaben zu erkennen? Kurz gesagt: Nein. OpenAI hat in den vergangenen Wochen zwei neue Versionen seiner LLMs veröffentlicht. Ohne diese neuen LLMs überhaupt zu trainieren, haben wir unser Modell evaluiert und festgestellt, dass es immer noch recht gut abschneidet!

• GPT-3.5-Turbo-0125: 99,66 % Genauigkeit
• GPT-4-0125-Vorschau: 99,18 % Genauigkeit

Diese neuen Versionen ähneln früheren Versionen, die von OpenAI veröffentlicht wurden. Die nächste Frage, die wir uns stellen, lautet daher: Wie schneiden wir bei völlig anderen Modellfamilien ab? Um dies zu beantworten, haben wir unser Modell anhand einer Reihe von Open-Source-Modellen evaluiert, die unser Klassifikator zuvor noch nie gesehen hatte.

Leistung eines Open-Source-LLM, das Pangram Labs während des Trainings nicht gesehen hat.

Ziemlich beeindruckend! Das liegt zum großen Teil daran, dass viele Open-Source-Modelle entweder auf der Llama-Familie basieren oder ähnliche Open-Source-Trainingsdatensätze verwenden. Das gibt uns jedoch die Gewissheit, dass wir gut verallgemeinern können, ohne jedes einzelne Open-Source-Modell trainieren zu müssen.

Vor diesem Hintergrund ist unsere Datenpipeline so konzipiert, dass wir innerhalb weniger Stunden nach der Veröffentlichung einer LLM-API einen neuen Trainingsdatensatz generieren können – wobei die einzige Einschränkung die Ratenbegrenzung der API darstellt. Wir sind uns bewusst, dass LLMs immer besser werden, und je näher wir der AGI kommen, desto wichtiger wird es, auf dem neuesten Stand zu bleiben und sicherzustellen, dass wir selbst die fortschrittlichsten KI-Agenten erfassen können.

Englisch als Zweitsprache

Frühere Untersuchungen haben ergeben, dass kommerzielle LLM-Detektoren durchweg eine Voreingenommenheit gegenüber Nicht-Muttersprachlern (ESL, d. h. Englisch als Zweitsprache) aufweisen. Um dies zu überprüfen, verwendeten die Forscher einen Testkorpus aus 91 Aufsätzen aus dem TOEFL (Test of English as a Foreign Language), um verschiedene Detektoren zu testen.

Wir haben die 91 TOEFL-Aufsätze aus unserem Trainingsdatensatz herausgenommen und Pangram Labs anhand des Benchmarks bewertet. Dank unserer Bemühungen, die Falsch-Positiv-Rate für ESL zu minimieren, verzeichnen wir beim TOEFL-Benchmark eine Falsch-Positiv-Rate von 0 % – das bedeutet, dass keiner der menschlichen Aufsätze in diesem Benchmark fälschlicherweise als KI-Text eingestuft wurde.

Vergleich anhand der TOEFL-Benchmarks

Der Ansatz von Pangram Labs zur Erkennung künstlicher Intelligenz

Das Erkennen von KI-generierten Inhalten ist keine leichte Aufgabe. Wir trainieren ein Deep-Learning-Modell mit einer auf Transformers basierenden Architektur und nutzen dabei zwei Schlüsselmethoden, um die Genauigkeit unseres Modells auf ein neues Niveau zu heben.

Kunststoffspiegel

Jedes Dokument in unserem Trainingssatz ist entweder mit „Mensch“ oder „KI“ gekennzeichnet. Im maschinellen Lernen bezeichnen wir diese Dokumente als „Beispiele“.

Wir verfügen über Millionen von menschlichen Beispielen aus öffentlichen Datensätzen, die wir zum Trainieren nutzen können, aber es gibt keine entsprechenden KI-Datensätze. Wir lösen dieses Problem, indem wir jedes menschliche Beispiel mit einem „synthetischen Spiegel“ paaren – ein Begriff, den wir verwenden, um ein KI-generiertes Dokument zu beschreiben, das auf einem menschlichen Dokument basiert. Wir geben einem LLM die Eingabe, indem wir ein Dokument zum gleichen Thema und mit derselben Länge anfordern. Bei einem Bruchteil der Beispiele lassen wir das LLM mit dem ersten Satz des menschlichen Dokuments beginnen, um die KI-Dokumente abwechslungsreicher zu gestalten.

Hard-Negative-Mining

Schon früh stießen wir beim Trainieren unseres Modells an eine Grenze. Wir versuchten, weitere Beispiele hinzuzufügen, stellten aber schließlich fest, dass das Modell „gesättigt“ war – weitere Trainingsbeispiele führten zu keiner weiteren Verbesserung des Modells.

Experiment zu Skalierungsgesetzen

Die Leistung dieses ersten Modells war unbefriedigend – es wies in vielen Bereichen immer noch eine Falsch-Positiv-Rate von über 1 % auf. Wir stellten fest, dass wir nicht nur mehr Beispiele brauchten, sondern auch anspruchsvollere.

Wir haben schwierigere Beispiele identifiziert, indem wir unser ursprüngliches Modell nutzten und Millionen von menschlichen Beispielen in offenen Datensätzen durchsuchten, um die schwierigsten Dokumente zu finden, die unser Modell falsch klassifiziert hatte. Anschließend haben wir synthetische Spiegelbilder dieser Dokumente erstellt und sie unserem Trainingssatz hinzugefügt. Schließlich haben wir das Modell neu trainiert und den Vorgang wiederholt.

Trainingsverfahren für den KI-gestützten Textklassifikator von Pangram Labs

Mit dieser Trainingsmethode konnten wir unsere Falsch-Positiv-Rate um den Faktor 100 senken und ein Modell veröffentlichen, auf das wir stolz sind.

Tabelle der Falsch-positiv-Raten nach Domäne

Wir bezeichnen diese Methode als „Hard Negative Mining mit synthetischen Spiegeln“ und gehen in unserem technischen Bericht näher auf den Ablauf ein.

Wie geht es weiter bei Pangram Labs?

Das ist natürlich noch nicht das Ende unserer Reise. Wir haben jede Menge neue Ideen, wie wir die Leistung auf die nächste Stufe heben können. Wir werden unsere Testdatensätze weiter verbessern, damit wir die Falsch-Positiv-Rate auf die Hundertstelprozent genau verfolgen können. Wir planen, unser Modell auf andere Sprachen als Englisch auszuweiten, und arbeiten daran, unsere Fehlerfälle zu verstehen und zu erkennen. Seid gespannt auf unsere nächsten Schritte!

Haben Sie Fragen oder Anmerkungen? Schreiben Sie uns an info@pangram.com!