Alles über Fehlalarme bei KI-Detektoren

Einer der wichtigsten Aspekte unserer Arbeit bei Pangram ist die Minimierung unserer Falsch-Positiv-Rate. Das bedeutet, dass wir die Wahrscheinlichkeit, dass von Menschen verfasste Texte als KI-generiert markiert werden, so weit wie möglich reduzieren. Heute erläutern wir die Falsch-Positiv-Raten von Pangram für viele verschiedene Arten von Texten, wie wir unsere Modelle messen und bewerten, um sicherzustellen, dass die Falsch-Positiv-Rate so niedrig wie möglich ist, und schließlich einige der Techniken, die wir einsetzen, um KI-Erkennungssoftware mit der branchenweit niedrigsten Falsch-Positiv-Rate zu entwickeln.

Das Wichtigste in Kürze

• Ein „False Positive“ liegt vor, wenn ein Detektor menschlich erstellte Arbeiten fälschlicherweise als KI-generiert einstuft. Diese Art von Fehler ist bei der KI-Erkennung besonders schwerwiegend, da die Behauptung, dass jemandes Arbeit nicht von ihm selbst stammt, dessen Ruf oder akademischen Status schädigen kann.
• Pangram nimmt sowohl falsch-positive als auch falsch-negative Ergebnisse ernst und weist eine branchenführende Falsch-Positiv-Rate von 1 zu 10.000 auf.
• Nach Fachgebieten betrachtet weist Pangram in allen gängigen Anwendungsfällen eine extrem niedrige Falsch-Positiv-Rate auf, beispielsweise beim kreativen Schreiben (0,01 %), beim wissenschaftlichen Schreiben (0,02 %), beim biomedizinischen Schreiben (0,01 %) und bei Drehbüchern (0 %).
• Pangram schneidet bei einigen eher nischenhaften Anwendungsfällen, wie beispielsweise Gedichten oder Rezepten, weniger gut ab.

Was ist ein falsch-positives Ergebnis?

Im Zusammenhang mit der KI-Erkennung liegt ein „False Positive“ vor, wenn ein Detektor eine von Menschen erstellte Probe fälschlicherweise als KI-generiert einstuft. Im Gegensatz dazu liegt ein „False Negative“ vor, wenn eine KI-generierte Probe fälschlicherweise als von Menschen erstellt eingestuft wird.

Falsch-positive und falsch-negative Ergebnisse bei der KI-Erkennung

Das obige Diagramm veranschaulicht die beiden Fehlerarten. Wenn Rot die negative Klasse und Grün die positive Klasse darstellt, wäre ein rotes X, das als grün vorhergesagt wird, ein falsch-positives Ergebnis, und ein grünes O, das als rot vorhergesagt wird, wäre ein falsch-negatives Ergebnis.

In der Statistik werden die Begriffe „Typ-I-Fehler“ und „Typ-II-Fehler“ verwendet: Diese Begriffe bedeuten genau dasselbe. Ein Typ-I-Fehler ist ein falsch-positives Ergebnis, ein Typ-II-Fehler ein falsch-negatives Ergebnis. Statistiker und insbesondere diejenigen, die in den medizinischen Wissenschaften tätig sind, verwenden auch die Begriffe Sensitivität und Spezifität, um diese beiden Fehlerquoten zu unterscheiden. Wissenschaftler im Bereich des maschinellen Lernens verwenden die Begriffe Präzision und Recall. Obwohl es einige geringfügige technische Unterschiede zwischen diesen Begriffen gibt, werden wir uns in diesem Beitrag zu Bildungszwecken einfach an „falsch-positive Ergebnisse“ und „falsch-negative Ergebnisse“ halten, da ich denke, dass dies die selbsterklärendsten Begriffe für diese beiden Arten von Fehlern sind.

Bei der KI-Erkennung ist ein „False Positive“ weitaus schlimmer als ein „False Negative“. Wenn man Studierende, die ihre Arbeiten selbst und ohne KI-Hilfe verfassen, wiederholt des KI-Plagiats bezichtigt, untergräbt dies das Vertrauen zwischen Studierenden und Lehrenden erheblich und kann bei den Studierenden große Ängste und Stress auslösen. Ein „False Negative“ hingegen kann bedeuten, dass hin und wieder ein Betrüger durch das Raster schlüpft, was für ein KI-Erkennungstool kein so schlimmes Ergebnis darstellt.

Es ist anzumerken, dass bei anderen Erkennungsproblemen ein falsch-negatives Ergebnis weitaus mehr Schaden anrichten kann als ein falsch-positives: Bei einer Krebsvorsorgeuntersuchung ist es beispielsweise weitaus besser, wenn der Test fälschlicherweise anzeigt, dass der Patient Krebs hat, als wenn der Test den tatsächlich vorhandenen Krebs des Patienten völlig übersieht. Wenn der Test fälschlicherweise anzeigt, dass der Patient Krebs hat, ist es zwar für den Patienten zwar lästig, erneut zur Nachuntersuchung zu kommen und sich weiteren Untersuchungen und Tests zu unterziehen, doch ist dies weitaus besser, als eine Krebsdiagnose zu übersehen, was eine Gefahr für das Leben des Patienten darstellt.

Um noch einmal auf die KI-Erkennung zurückzukommen: Ein Fehlalarm verursacht mehr Schaden als ein Versäumnis, doch beide sind von Bedeutung: Wenn KI-generierter Text regelmäßig übersehen und fälschlicherweise als von Menschen verfasst eingestuft wird, untergräbt dies ebenfalls den Wert des Tools. Daher verfolgen wir bei Pangram den allgemeinen Ansatz, sowohl Fehlalarme als auch Versäumnisse so weit wie möglich zu minimieren, wobei wir Fehlalarmen jedoch eine höhere Priorität einräumen.

Wie hoch ist die Falsch-Positiv-Rate von Pangram?

Die Antwort lautet: Das kommt darauf an!

Insgesamt liegt unsere Falsch-Positiv-Rate bei etwa 1 zu 10.000: Je nach Art des Textes und anderen Variablen kann sie manchmal etwas höher oder etwas niedriger ausfallen.

Wir messen die Falsch-Positiv-Rate von Pangram anhand einer Vielzahl unterschiedlicher Textarten: Diese bezeichnen wir als Domänen. Die folgende Auflistung ist zwar nicht vollständig, enthält jedoch unsere aktuellsten Falsch-Positiv-Raten, die wir intern für jede Domäne ermitteln:

Welche Faktoren beeinflussen die Anfälligkeit von Pangram für Fehlalarme?

Im Allgemeinen erzielt Pangram die besten Ergebnisse, wenn die folgenden Bedingungen erfüllt sind:

• Der Text ist lang genug (mehr als ein paar hundert Wörter)
• Der Text besteht aus vollständigen Sätzen
• Dieser Bereich ist in gängigen Online-Trainingsdatensätzen gut vertreten
• Der Text enthält mehr kreative Elemente und ist weniger formelhaft

Wir glauben, dass diese Faktoren der Grund dafür sind, dass Pangram bei Essays, kreativem Schreiben und Rezensionen die besten Ergebnisse erzielt. Während Nachrichtenartikel, wissenschaftliche Arbeiten und Wikipedia-Einträge eher formelhaft und technisch sind, gibt es in diesen Bereichen reichlich Daten, sodass Pangram sehr gut darin geworden ist, selbst subtile Muster im Text zu erkennen. Schließlich sind Bereiche wie Rezepte und Lyrik die schwächsten, da die Texte dort tendenziell kurz sind, nicht in vollständigen Sätzen verfasst sind (was dem LLM weniger Gelegenheit gibt, seinen eigenwilligen Stil in den Text einzubringen) und im Internet generell seltener vorkommen als in den anderen Bereichen.

Was bedeutet das konkret? Zwar ist Pangram in allen Bereichen nach wie vor relativ zuverlässig, doch können Sie sich auf die Genauigkeit von Pangram umso mehr verlassen, je länger der Text ist, je mehr er aus vollständigen Sätzen besteht und je mehr Eigenleistung vom Verfasser verlangt wird. Aus diesem Grund raten wir davon ab, kurze Aufzählungen und Gliederungen, mathematische Inhalte, sehr kurze (z. B. einzelne Sätze) Antworten sowie extrem formelhafte Texte wie lange Datenlisten, Tabellen, vorlagengestützte Texte und Bedienungsanleitungen zu prüfen.

Wie schneidet die Falsch-Positiv-Rate von Pangram im Vergleich zu den Mitbewerbern ab?

Wir können bei unseren Mitbewerbern keinen ebenso gründlichen Vergleichstest durchführen, schlichtweg weil die Kosten dafür extrem hoch wären. Wir können jedoch prüfen, welche Falsch-Positiv-Rate unsere Mitbewerber angeben.

Turnitin

Die von Turnitin auf seiner Website angegebene Falsch-Positiv-Rate

Das neueste Whitepaper von Turnitin gibt eine Falsch-Positiv-Rate von 0,51 % bei wissenschaftlichen Texten an, was auf Dokumentebene etwa 1 von 200 entspricht. Das bedeutet, dass jede 200. von Studierenden eingereichte Arbeit fälschlicherweise als KI-Text markiert wird.

Unsere Falsch-Positiv-Rate, gemessen anhand eines ähnlichen Datensatzes aus wissenschaftlichen Aufsätzen, beträgt 0,004 %, was einer Wahrscheinlichkeit von 1 zu 25.000 entspricht.

Das ist ein erheblicher Unterschied. An einer großen Forschungsuniversität werden jährlich möglicherweise 100.000 Arbeiten eingereicht. Das bedeutet, dass Turnitin 500 Fehlalarme meldet, während es bei Pangram nur 4 sind.

GPTZero

Die auf der Website von GPTZero angegebene Falsch-Positiv-Rate

GPTZero gibt eine Falsch-Positiv-Rate von 1 % an, was doppelt so schlecht ist wie bei Turnitin und 250-mal schlechter als bei Pangram.

Um einen fairen Vergleich zu ermöglichen, haben wir GPTZero und Pangram intern anhand einer kleineren Auswahl von Dokumenten aus unserem allgemeinen VIP-Datensatz miteinander verglichen. Dabei stellten wir fest, dass die Falsch-Positiv-Rate mit 2,01 % höher war als angegeben.

Copyleaks

Die von Copyleaks auf ihrer Website angegebene Falsch-Positiv-Rate

Copyleaks gibt eine Falsch-Positiv-Rate von 0,2 % an, also 1 von 500, was – sollte dies zutreffen – 50-mal schlechter wäre als bei Pangram.

Außerdem sagt eine solche isolierte Zahl allein nicht alles aus. Wir wissen nicht, woher die Daten stammen und welche möglichen Verzerrungen bei der Auswertung aufgetreten sein könnten. Deshalb führen wir gründliche Vergleichstests durch und veröffentlichen diesen Artikel, in dem wir unseren Prozess zur Bewertung unseres Modells detailliert beschreiben.

RAID-Benchmark

Mit Blick auf die RAID-Studie, die im vergangenen Jahr von Liam Dugan und seinen Mitautoren veröffentlicht wurde – es handelt sich um Studie Nr. 2 in dem von uns veröffentlichten Artikel zur Forschungsübersicht –, möchten wir Ihre Aufmerksamkeit auf die folgende Grafik lenken.

RAID-Studie zu den Falsch-Positiv-Raten bei verschiedenen Detektoren

Die meisten Detektoren geben einen „Schwellenwert“ an, also den prozentualen Konfidenzwert, bei dessen Überschreitung das Modell den Text als KI-generiert einstuft, während es ihn unterhalb dieses Wertes als von Menschen verfasst einstuft. Durch Verschieben des Schwellenwerts lassen sich Fehlalarme und Fehlentscheidungen gegeneinander abwägen.

In dieser Grafik ist auf der x-Achse die durch die Verschiebung des Schwellenwerts verursachte Falsch-Positiv-Rate dargestellt, und auf der y-Achse der Recall: Dabei handelt es sich um den Anteil der KI-Dokumente, die bei einer Bewertung anhand dieses Schwellenwerts als KI klassifiziert werden können.

Kurz gesagt: Die Detektoren unserer Mitbewerber versagen, wenn sie auf eine Falsch-Positiv-Rate von unter 1 Prozent eingestellt werden; das heißt, sie wären nicht in der Lage, KI zu erkennen, wenn der Schwellenwert so niedrig ist, dass eine FPR von 1 Prozent erreicht wird.

Wie bewerten wir die Falsch-Positiv-Rate von Pangram?

Pangram durchläuft einen äußerst strengen Freigabe- und Testprozess, bevor ein neues Modell in unserem Dashboard und unserer API bereitgestellt werden darf.

Im Rahmen unserer Qualitätssicherung führen wir drei Arten von Tests zur Erkennung von Fehlalarmen durch, die jeweils ein Gleichgewicht zwischen quantitativer und qualitativer Bewertung herstellen. Unsere Bewertungen umfassen:

1. Groß angelegte Testdatensätze. Etwa 10.000 bis 10.000.000 Beispiele pro Datensatz. Es handelt sich um umfangreiche, frei zugängliche Internet-Datenbanken aus der Zeit vor ChatGPT (2022), aus denen wir einen Testdatensatz ausgewählt haben, der nicht für das Training verwendet wurde und ausschließlich zu Bewertungszwecken beiseite gelegt wurde.

2. VIP-Datensätze mittlerer Größe. Etwa 1.000 Beispiele pro Datensatz. Hierbei handelt es sich um Datensätze, die Ingenieure oder Annotatoren von Hand aus seriösen Quellen zusammengestellt, visuell geprüft und persönlich als von Menschen verfasst validiert haben. Zwar sind geschulte Experten in der Lage, KI-generierte Inhalte auf den ersten Blick zu erkennen, doch unterlaufen ihnen gelegentlich Fehler. Daher überprüfen wir die Daten regelmäßig und bereinigen sie, um ihre Genauigkeit sicherzustellen.

3. Testdatensätze. Etwa 10 bis 100 Beispiele pro Datensatz. Dabei handelt es sich um bereits gemeldete Fehlalarme, schwierige Fälle, die uns von Freunden zugesandt wurden, und ganz allgemein um interessante Beispiele, bei denen wir wissen möchten, wie gut wir abschneiden. Wir sammeln auch Beispiele für ungewöhnliche Texte, wie Rezepte, Gedichte, Drehbücher und andere schriftliche Formen, die in Trainingsdatensätzen für große Sprachmodelle nicht gut vertreten sind, und betrachten diese ebenfalls als Herausforderungssätze sowie als allgemeinen Maßstab dafür, wie gut unser Modell abschneidet, wenn es „außerhalb der Verteilung“ eingesetzt wird.

Zusätzlich zu diesen drei Arten der Qualitätssicherung führen wir auch Unit-Tests durch. Diese Unit-Tests dienen, umgangssprachlich ausgedrückt, dazu, unser Modell auf sogenannte „peinliche Fehler“ zu überprüfen. Unsere aktuelle Unit-Test-Suite verlangt von uns, bei Dokumenten wie der Unabhängigkeitserklärung, berühmten Zeilen aus der Literatur sowie den Texten unserer eigenen Website und unseren Blogbeiträgen die menschliche Antwort vorherzusagen. Sollte auch nur einer dieser Unit-Tests fehlschlagen, blockieren wir die Bereitstellung eines neuen Modells und fangen von vorne an. Eine unserer Leitphilosophien bei der Bewertung ist es, bei der Verfolgung und Überwachung dieser „peinlichen Fehler“ äußerst wachsam zu sein, damit sie bei der Veröffentlichung eines neuen Modells niemals wieder auftreten.

Diagramm, das die drei Arten von Bewertungsdatensätzen zeigt, die bei Pangram verwendet werden: groß angelegte Holdout-Datensätze (über 10 Millionen Beispiele), mittelgroße VIP-Datensätze (über 1000 Beispiele) und Challenge-Datensätze (10–100 Beispiele)

Wer sich für Mathematik und Naturwissenschaften interessiert, fragt sich vielleicht: Wozu braucht man eine qualitative Bewertung? Sind mehr Stichproben nicht immer besser?

Meine Antwort darauf wäre: Mehr Daten sind nicht immer besser. Wie ein weiser Prophet einmal sagte: Es gibt Lügen, verdammte Lügen und Statistiken. Aber im Ernst: Wir glauben, dass man bei der Erstellung eines großen Datensatzes in großem Maßstab immer eine gewisse Verzerrung einbringt. Und wenn man einen Datensatz hat, der so groß ist, dass man nicht jedes Beispiel überprüfen kann, weiß man nicht, ob sich das Modell an eine Verzerrung im Datensatz überangepasst hat, die dazu führt, dass es im Test gut abschneidet, in der realen Welt jedoch schlecht. (Nebenbei bemerkt glauben wir, dass dies der Grund dafür ist, dass es viele Online-KI-Detektoren gibt, die eine „99-prozentige Genauigkeit“ angeben, aber bei tatsächlichen Tests nicht einmal annähernd so gut abschneiden).

Ein lustiges Beispiel, das die Bedeutung dieser verschiedenen Arten von Testsuiten verdeutlicht, ereignete sich in den Anfängen von Pangram, als wir Wikipedia erstmals in den Trainingsdatensatz aufnahmen. Einer unserer ersten fehlgeschlagenen Versuche schnitt im Holdout-Datensatz hervorragend ab, im VIP-Datensatz – einer Sammlung von manuell zusammengestellten Wikipedia-Artikeln – jedoch sehr schlecht. Letztendlich stellten wir fest, dass in dem von uns verwendeten Huggingface-Datensatz auf der menschlichen Seite die Namensaussprache, ausgedrückt im Internationalen Phonetischen Alphabet, auf eine wirklich seltsame Weise umformatiert wurde, an die sich das Modell überanpasste: Es betrachtete lediglich die Formatierung des Namens und schloss dann anhand der Formatierung, ob das Dokument von einer KI oder einem Menschen stammte. Im Holdout-Set funktionierte das hervorragend, in der Praxis war es jedoch katastrophal, wenn dem Modell dieser spezielle Hinweis fehlte! Darin liegt die Bedeutung eines Test-Sets, das genau widerspiegelt, welche Art von Text Pangram in der Praxis vorfinden wird.

Bevor wir bei Pangram ein Modell an Kunden ausliefern, durchläuft es ein strenges Freigabeverfahren, das sowohl eine quantitative als auch eine qualitative Bewertung umfasst. Dabei unterziehen wir das Modell einem Stresstest und prüfen seine Leistung im Vergleich zum aktuellen Modell.

1. Quantitative Bewertung: Das bedeutet, dass die Kennzahlen zur Falsch-Positiv-Rate für alle Holdout-Sätze, VIP-Sätze und Testfälle nicht regressiert werden sollten.

2. Qualitative Bewertung: In den meisten Fällen werden einige Beispiele verbessert, während andere eine Verschlechterung erfahren. Wann immer möglich, prüfen wir die konkreten Beispiele, bei denen eine Verschlechterung auftritt, manuell und stellen sicher, dass die Fehler erklärbar sind. Dies ist oft sehr differenziert und hängt von den jeweiligen Hypothesen ab, die wir testen, doch generell wollen wir sicherstellen, dass die Fehlerfälle kein bestimmtes Muster aufweisen, das sich nach der Bereitstellung auf Fehler in der Praxis übertragen ließe.

3. Vibe-Check / Red Teaming: Sobald die quantitative und qualitative Bewertung abgeschlossen ist, führen wir abschließend einen „Vibe-Check“ des Modells durch, indem wir es an das Team weiterleiten und die Teammitglieder bitten, eine Weile damit zu experimentieren. Bei einigen Updates lassen wir das Modell möglicherweise auch von internen Testern oder Betakunden prüfen, bevor wir es der Öffentlichkeit zugänglich machen (in der Regel ermutigen wir sie, Fälle zu finden, bei denen das Modell versagt!).

4. Retroaktives A/B-Testing: Wir führen Offline-Inferenz auf unseren alten Vorhersagen durch und untersuchen die Unterschiede zwischen dem alten und dem neuen Modell. Wir verfügen nicht immer über die tatsächlichen Ergebnisse für Daten, die wir zuvor durch Inferenz ermittelt haben, aber auch hier suchen wir nach konsistenten Mustern, die auf reale Fehlerfälle hindeuten könnten.

Zusammenfassend lässt sich sagen: Obwohl wir bei der Leistungsmessung unseres Modells anhand von Kennzahlen und Statistiken äußerst gründlich und wissenschaftlich vorgehen, verlassen wir uns nicht ausschließlich auf Zahlen, um uns ein umfassendes Bild zu verschaffen. Wir vertrauen auch auf unsere Augen, unsere Intuition und unsere Fähigkeit zur Mustererkennung, um das Modell genau unter die Lupe zu nehmen und Fehlermuster aufzudecken, die unseren Kennzahlen möglicherweise entgangen sind. Zudem verlassen wir uns auf unser Team aus Testern, Red-Team-Mitgliedern und Beta-Kunden, um Schwachstellen aufzudecken, die dem Team möglicherweise entgangen sind.

Mit welchen Methoden erreichen wir eine so niedrige Falsch-Positiv-Rate?

Die Aufrechterhaltung einer niedrigen Falsch-Positiv-Rate ist ein zentraler Bestandteil unserer Forschungsarbeit. Hier sind einige der Methoden, die wir bisher eingesetzt haben, um eine erstklassige Fehlerquote zu erreichen.

Umfassende Abdeckung der Trainingsdaten

Zwar sind die KI-Detektoren der Konkurrenz vielleicht „für den akademischen Bereich, Schulen, den Unterricht und Lehrkräfte konzipiert“, doch könnte dies in Wirklichkeit bedeuten, dass ihr Trainingsdatensatz ausschließlich akademische Texte enthält.

Andererseits haben wir Pangram entwickelt, um die „bittere Lektion“ zu nutzen: dass allgemeine Lernalgorithmen, die auf großen Datenmengen aus einer Vielzahl von Quellen trainiert wurden, effektiver sind als spezifische Modelle, die auf domänenspezifischen Daten trainiert wurden.

Das bedeutet, dass wir unseren KI-Detektor auf eine Vielzahl unterschiedlicher Textarten trainieren: kreative, technische, wissenschaftliche, enzyklopädische Texte, Rezensionen, Websites, Blogbeiträge … die Liste ließe sich fortsetzen. Der Grund dafür ist vergleichbar mit einer breit gefächerten geisteswissenschaftlichen Ausbildung: Der Kontakt mit vielen Disziplinen und Schreibstilen hilft dem Modell, neue Fälle besser zu verstehen und zu verallgemeinern. Dem allgemeinen Trend im KI-Training folgend, werden ChatGPT und andere große Sprachmodelle nicht auf spezifische Daten für bestimmte Anwendungsfälle trainiert, sondern auf allgemeine, groß angelegte Textdaten, damit sie über allgemeine Intelligenz verfügen: Wir glauben an dieselbe Strategie für das Training von KI-Detektoren, die robust gegenüber all den verschiedenen allgemeinen Textarten sind, die ein LLM produzieren kann.

Hard-Negative-Mining / Aktives Lernen

Wir haben ausführlich über unseren Algorithmus für aktives Lernen berichtet, der eine Technik namens „Hard Negative Mining“ nutzt, und wir sind davon überzeugt, dass dies der Hauptgrund dafür ist, dass wir unsere Falsch-Positiv-Rate auf nahezu Null senken konnten.

Im Grunde funktioniert das deshalb, weil die meisten Beispiele aus der Praxis „einfache Beispiele“ sind – sobald das Modell die grundlegenden Muster dafür gelernt hat, was menschlich und was KI ist, lässt sich bei der überwiegenden Mehrheit des Datensatzes sehr leicht unterscheiden, was was ist. Damit erreicht man jedoch nur eine Genauigkeit von etwa 99 %. Um die letzten paar Zehntel der Genauigkeit herauszuholen, müssen wir die schwierigsten Fälle finden, um das Modell zu trainieren: Wir können uns diese Fälle so vorstellen, dass ein Mensch sich einfach entscheidet, auf eine Weise zu schreiben, die einem KI-Sprachmodell sehr ähnlich ist, dies aber in Wirklichkeit nur durch Zufall tut. Um diese schwierigen Negativbeispiele zu finden, führen wir eine groß angelegte Suche in Datensätzen im Internet-Maßstab durch, wie sie zum Trainieren von LLMs verwendet werden, und führen dann eine synthetische Spiegelung durch, um ähnlich klingende KI-Beispiele zu generieren. Weitere Details finden Sie auf unserer Seite „So funktioniert es“.

Verlustgewichtung und Überabtastung

Wir formulieren unser Optimierungsziel so, dass das Modell bereits während des Trainingsprozesses selbst Fehlalarme gegenüber Fehlentscheidungen priorisiert. Wenn das Modell ein von Menschen verfasstes Dokument falsch einstuft, wird es mit einem wesentlich höheren Gewicht „bestraft“ als bei der falschen Einstufung eines KI-Dokuments. Dies zwingt das Modell dazu, konservativ vorzugehen und ein Dokument nur dann als KI-Dokument einzustufen, wenn es sich absolut sicher ist.

Kalibrierung

Dies bezieht sich auf die Wahl des Schwellenwerts, wie sie im Abschnitt „RAID“ beschrieben ist. Wir legen unseren Schwellenwert auf der Grundlage einer Auswertung von Millionen von Dokumenten in unseren Testdatensätzen fest, um einen angemessenen Kompromiss zwischen der Falsch-Positiv- und der Falsch-Negativ-Rate zu finden. Mit unserer Schwellenwertwahl versuchen wir, ein Gleichgewicht herzustellen, bei dem die Falsch-Negativ-Rate auf einem vertretbaren Niveau bleibt, ohne dabei Abstriche bei der Falsch-Positiv-Rate zu machen.

Das Wichtigste

• Pangram weist eine deutlich geringere Falsch-Positiv-Rate auf als die Konkurrenz.
• Die extrem niedrige Falsch-Positiv-Rate von Pangram ist auf eine Kombination aus Umfang, Training und Suchverfahren zurückzuführen.
• Da die Falsch-Positiv-Rate bei der KI-Erkennung eine so wichtige Rolle spielt, haben wir eine äußerst umfassende Test- und Qualitätssicherungssuite entwickelt und einen gründlichen Freigabeprozess etabliert, der eine sorgfältige statistische Auswertung mit eher subjektiven, qualitativen menschlichen Einschätzungen und einer intuitiven Beurteilung kombiniert.

Wir arbeiten sehr gerne mit Forschern zusammen, um die Gesamtgenauigkeit unserer Software zu verbessern, und setzen uns leidenschaftlich für offene Vergleichstests und Transparenz bei der KI-Erkennung ein. Bei Interesse an einer Zusammenarbeit mit uns oder weiteren Fragen zur Genauigkeit von Pangram wenden Sie sich bitte an info@pangram.com.