Mythen und Missverständnisse über KI-Erkennung

Jason ist Lehrer für Englisch und Philosophie an der New Roads School in Los Angeles.

Einführung

Häufig werde ich gefragt, was KI-Detektoren leisten können und was nicht. Heute wollen wir uns mit einigen der gängigsten Mythen und Missverständnisse rund um die KI-Erkennung befassen. Los geht's!

Mythos 1: Anstatt KI-Erkennung zu verwenden, sollten wir KI in unseren Unterricht integrieren und den Schülern beibringen, wie man sie einsetzt.

Wir sollten KI in unseren Unterricht integrieren und den Schülern beibringen, wie man KI nutzt! Aber die Integration von KI anstelle der KI-Erkennung stellt zwei Ideen gegeneinander, die eigentlich gar nicht im Widerspruch zueinander stehen. Die KI-Erkennung ist eine notwendige Voraussetzung für die Integration von KI, um sinnvolle Leitplanken für die Technologie zu schaffen und sicherzustellen, dass die Technologie unterstützend und nicht missbräuchlich eingesetzt wird.

Es gibt einen gewissen ludditischen Irrtum, der auftritt, wenn neue Technologien aufkommen und Einschränkungen vorgeschlagen werden – in diesem Fall, dass „Erkennung gleich Abschreckung“ sei, was falsch ist.

In der Praxis ist das Gegenteil der Fall. Diejenigen, die nach leistungsstarken Tools zur KI-Erkennung suchen, sind in der Regel diejenigen, die KI am meisten in ihren Klassenzimmern einsetzen möchten. Sie möchten die Tools nutzen, aber sie möchten nicht, dass die Tools missbraucht werden. Auf der anderen Seite gibt es diejenigen, die so begeistert von der Zukunft der KI sind, dass sie KI-Tools in ihren Klassenzimmern unter dem Motto „Das ist die Zukunft“ uneingeschränkt einsetzen möchten. Sie begrüßen keine Einschränkungen. Und dann gibt es noch diejenigen, die KI verabscheuen und zu den „Stift-und-Papier“-Anhängern gehören. Das sind Einzelpersonen oder Schulen, die beschlossen haben, dass der einzig richtige Ansatz in Bezug auf KI darin besteht, ganz darauf zu verzichten. Wenn der Unterricht wieder wie in den Tagen vor der Computerisierung stattfindet, ist eine Erkennung nicht erforderlich. In Wahrheit sind es jedoch meist diejenigen, die eine KI-Erkennung anstreben, die am meisten daran interessiert sind, den Einsatz von KI für das Lernen im Unterricht zu maximieren. Sie möchten unnötige Determinanten vermeiden, während sie mit KI experimentieren und ihre Fähigkeiten erweitern. Dies scheint uns der richtige Ansatz zu sein.

Mythos 2: KI-Detektoren sind Black Boxes, die ihre Methodik nicht offenlegen und daher nicht vertrauenswürdig sind.

Während andere KI-Detektoren ihre Methoden nicht offenlegen, hat Pangram seine Methodik öffentlich gemacht. Pangram ist offen in Bezug auf seine Methoden, da das Unternehmen der Ansicht ist, dass es wichtig ist, das Vertrauen der Forschungsgemeinschaft zu gewinnen und anhand von Fakten zu belegen, warum die Software genau ist. Pangram bietet auf seiner Website eine interaktive, animierte Demonstration seiner Methodik.

Pangram veröffentlicht auch einige seiner technischen Innovationen auf KI-Konferenzen und in Fachzeitschriften. So hat das Unternehmen beispielsweise kürzlich auf der COLING-Konferenz eine Arbeit vorgestellt, in der beschrieben wird, wie robust das System gegenüber Humanisierern und Paraphrasierern ist.

Mythos 3: Die KI-Erkennung wurde nicht von Fachkollegen überprüft oder von Wissenschaftlern validiert.

Die Arbeit von Pangram wurde nicht nur von Fachkollegen begutachtet, sondern kann auch jederzeit von jedermann überprüft werden.

Pangram wurde kürzlich in mehreren begutachteten Arbeiten vorgestellt und bewertet. Pangram gewann den Preis für den genauesten und robustesten Detektor im COLING Shared Task, einem Wettbewerb, an dem mehrere Open-Source- und kommerziell erhältliche KI-Detektoren teilnahmen.

Pangram wurde kürzlich auch in einer Studie der University of Maryland vorgestellt, die zeigt, dass es der einzige automatisierte KI-Detektor ist, der geschulte menschliche Experten bei der Erkennung von KI-generierten Texten übertrifft, sowie in einer weiteren Forschungsarbeit der University of Houston, die belegt, dass Pangram der einzige KI-Detektor ist, der gegenüber Übersetzungen robust ist.

Ältere, häufig zitierte Forschungsstudien, wie die Weber-Wulff-Studie aus dem Jahr 2023 und die Liang-Studie, die zeigen, dass KI-Detektoren gegenüber ESL voreingenommen sind, verwenden Pangram nicht als Benchmark. Diese Studien sind nicht nur veraltet, sondern wir haben auch gezeigt, dass Pangram bei diesen Benchmarks hervorragende Ergebnisse erzielt, während andere Detektoren dies nicht tun.

Pangram scheut sich nicht davor, von Forschern auf Herz und Nieren geprüft zu werden. Deshalb gewähren sie akademischen Forschern, die die Genauigkeit des KI-Detektors von Pangram untersuchen möchten, uneingeschränkten kostenlosen Zugang.

Mythos 4: KI-Detektoren sind ungenau.

Ich wurde oft von Leuten angesprochen, die behaupteten, ihre Arbeit sei als KI gekennzeichnet worden, obwohl sie von Menschen geschrieben worden sei. Leider denke ich, dass hier mehrere Dinge eine Rolle spielen.

Es gibt Menschen, die glauben, dass KI-Detektoren einfach nicht gut sind, weil Autoren und Institutionen dies ohne Beweise immer wieder behaupten. Nehmen wir zum Beispiel diesen Artikel, in dem behauptet wird: „Bis Mitte 2024 war kein Erkennungsdienst in der Lage, KI-generierte Inhalte mit einer Quote zu identifizieren, die besser ist als der Zufall, und die Illinois State University unterhält keine Beziehungen zu einem dieser Dienste.“ Dies ist eine erfundene Behauptung, da selbst die schlechtesten KI-Detektoren immer noch einige KI-Inhalte erkennen. Pangram weist eine Falsch-Positiv-Rate von 1/10.000 auf, da dies laut ihrer Entwicklung und Methodik, die in ihrem Whitepaper nachzulesen ist, die tatsächliche Anzahl der falschen Erkennungen ist, die sie sehen, was etwa 100-mal besser ist als die nächstbeste verfügbare kommerzielle Software.

Keine Erkennungssoftware kann zu 100 % genau sein. Das ist nicht möglich. KI-Detektoren sind im Allgemeinen gut; Pangram-Erkennung ist besser. Keine KI-Erkennung ist zu 100 % genau. Wenn Sie zwei Texte, die angeblich von Menschen verfasst wurden, durch Pangram (oder einen anderen Detektor) laufen lassen würden und beide als KI gekennzeichnet würden, obwohl sie es nicht sind, wäre die statistische Wahrscheinlichkeit, dass der Detektor falsch liegt, absurd geringer als die Wahrscheinlichkeit, dass der Text tatsächlich von einer KI geschrieben wurde. Das ist das Problem, das Schulen lösen wollen – die Sicherheit, mit der behauptet wird, dass etwas mit KI geschrieben wurde, obwohl dies nicht der Fall ist. Mit Pangram können wir viel sicherer sein, dass ein Text von einer KI stammt, als wenn eine Person behauptet, dass dies nicht der Fall ist.

Mythos 5: KI-Detektoren erkennen keine Schreibhilfen wie Grammarly.

Es gibt ein Missverständnis, dass generative KI-Hilfen wie Grammarly nicht erkannt werden. Das mag bei anderen Detektoren zutreffen, aber Pangram erkennt eine ausreichende Menge an generativer KI-Unterstützung beim Schreiben. Das bedeutet, dass der von Ihnen verfasste Text zwar von Ihnen stammt, aber dennoch als KI-Text markiert wird, weil Sie ihn in erheblichem Umfang mit KI „bereinigt” haben. Das beobachte ich ständig bei Studenten.

Grammarly ist nicht mehr nur eine Grammatikprüfung. Es ist ein umfassendes KI-Assistenztool, das studentische Aufsätze mithilfe eines großen Sprachmodells komplett umschreibt. Wenn ein Student Grammarly auf diese Weise nutzt, um die Komposition und den Stil seines ursprünglichen Textes grundlegend zu verändern, erkennt Pangram den Aufsatz als KI-generiert.

Aus diesem Grund empfehle ich Lehrkräften dringend, eine KI-Richtlinie einzuführen, wie beispielsweise das Stufensystem auf der Website von Pangram, damit keine Missverständnisse darüber entstehen, welche Arten von KI-Tools zur Unterstützung des Schreibprozesses zulässig sind und was als Fehlverhalten gilt.

Mythos 6: KI-Detektoren verursachen Schaden, indem sie falsche Anschuldigungen gegen ehrliche Schüler erheben.

Kritiker der KI-Erkennung argumentieren häufig, dass die falsche Beschuldigung von Schülern wegen KI irreparablen Schaden für den Ruf eines Schülers und die Glaubwürdigkeit eines Lehrers verursacht.

Pangram ist jedoch an sich kein Instrument zur Anklage.

Meiner Erfahrung nach handelt es sich bei einer positiven Erkennung von KI in den Texten eines Schülers meist um ein Missverständnis oder einfach um einen gut gemeinten Schüler, der unter dem Druck der Abgabefrist stand. Ein einfaches Gespräch zwischen einem Lehrer und einem Schüler muss nicht konfrontativ sein. Wir sind der Meinung, dass Lehrer diese Gelegenheit nutzen sollten, um den Schreibprozess des Schülers zu verstehen: Fragen Sie den Schüler, wie gut er das zugrunde liegende Material versteht, sehen Sie sich den Überarbeitungsverlauf des Schülers an, um einen Eindruck davon zu bekommen, wie das Dokument entstanden ist, und bitten Sie den Schüler zu erklären, ob und wie er KI-Unterstützung beim Bearbeiten verwendet hat, anstatt sofort zu dem Schluss zu kommen, dass der Schüler betrügen wollte.

Pangram vergleicht KI-Detektoren oft mit Metalldetektoren: Wenn ein Metalldetektor anschlägt, wird man nicht sofort verhaftet. Vielmehr ist ein positiver Befund ein Grund, weitere Gespräche zu führen und ein tieferes Verständnis dafür zu gewinnen, was wirklich vor sich geht.

Schlussfolgerung

Wie bei jedem Werkzeug ist es wichtig, dass Lehrer sowohl die Stärken als auch die Grenzen der KI-Erkennung verstehen.

Obwohl Systeme wie Pangram bei der Erkennung von KI-generierten Texten äußerst genau sind, kommt es dennoch selten zu Fehlern.

Aus diesem Grund ist es unerlässlich, dass Lehrkräfte klare Richtlinien, Regeln und Grenzen für den Einsatz von KI-Unterstützung in ihren Klassenräumen festlegen und dass positive Erkennungen durch Pangram ernst genommen werden, aber Gespräche über den Einsatz von KI mit Empathie und Neugierde geführt werden sollten. Eine positive Erkennung durch Pangram sollte niemals isoliert verwendet werden, um einen Schüler zu bestrafen oder ihm akademisches Fehlverhalten vorzuwerfen, ohne den Schreibprozess des Schülers genauer zu verstehen.

Möchten Sie das Gespräch fortsetzen? Jason steht Ihnen gerne für weitere Informationen zur Verfügung und berät Sie bei der Erstellung einer KI-Richtlinie für Ihren Unterricht. Sie erreichen ihn unter jason@pangram.com.