Mythen und Irrtümer über die Erkennung künstlicher Intelligenz

Jason ist Lehrer für Englisch und Philosophie an der New Roads School in Los Angeles.

Einleitung

Ich werde oft gefragt, was KI-Detektoren leisten können und was nicht. Heute wollen wir uns mit einigen der gängigsten Mythen und Irrtümer rund um die KI-Erkennung befassen. Los geht’s!

Mythos 1: Anstatt KI zur Erkennung einzusetzen, sollten wir KI in unseren Unterricht integrieren und den Schülern beibringen, wie man sie nutzt.

Wir sollten KI in unseren Unterricht integrieren und den Schülern beibringen, wie man KI nutzt! Aber die Integration von KI gegenüberstellen der KI-Erkennung bedeutet, zwei Konzepte gegeneinander auszuspielen, die eigentlich nicht im Widerspruch zueinander stehen. KI-Erkennung ist eine notwendige Voraussetzung für die Integration von KI, um sinnvolle Leitplanken für die Technologie zu schaffen und sicherzustellen, dass sie als Hilfsmittel und nicht missbräuchlich eingesetzt wird.

Es gibt einen gewissen ludditischen Trugschluss, der immer dann auftritt, wenn neue Technologien aufkommen und Einschränkungen vorgeschlagen werden – in diesem Fall die Annahme, dass „Aufdeckung gleich Abschreckung“ sei, was falsch ist.

In der Praxis ist das Gegenteil der Fall. Diejenigen, die nach leistungsstarken Tools zur KI-Erkennung suchen, sind in der Regel genau diejenigen, die KI am liebsten in ihrem Unterricht einsetzen möchten. Sie wollen die Tools nutzen, möchten aber nicht, dass diese missbraucht werden. Auf der anderen Seite gibt es diejenigen, die von der Zukunft der KI so begeistert sind, dass sie KI-Tools in ihrem Unterricht uneingeschränkt einsetzen wollen, getreu dem Motto „Das ist die Zukunft“. Sie lehnen jegliche Einschränkungen ab. Dennoch gibt es diejenigen, die KI verabscheuen und zu den „Stift-und-Papier“-Typen gehören. Das sind Einzelpersonen oder Schulen, die beschlossen haben, dass der einzig richtige Umgang mit KI darin besteht, ganz darauf zu verzichten. Es besteht kein Bedarf an Erkennung, wenn der Unterricht in die Zeit vor der Computerisierung zurückversetzt wird. Die Wahrheit ist jedoch, dass diejenigen, die nach KI-Erkennung suchen, in der Regel am meisten daran interessiert sind, den Einsatz von KI für das Lernen im Klassenzimmer zu maximieren. Sie wollen unnötige Einschränkungen vermeiden, während sie mit KI experimentieren und ihre pädagogischen Fähigkeiten erweitern. Dies scheint uns der richtige Ansatz zu sein.

Mythos 2: KI-Detektoren sind „Black Boxes“, die ihre Methodik nicht offenlegen und daher nicht vertrauenswürdig sind.

Zwar ist es richtig, dass andere KI-Detektoren ihre Methoden nicht offenlegen, doch Pangram hat seine Methodik offen dargelegt. Pangram geht offen mit seinen Methoden um, da das Unternehmen der Ansicht ist, dass es wichtig ist, das Vertrauen der Forschungsgemeinschaft zu gewinnen und anhand von Fakten zu belegen, warum die Software präzise arbeitet. Auf seiner Website bietet Pangram eine interaktive, animierte Demonstration seiner Methodik an.

Pangram veröffentlicht einige seiner technischen Innovationen auch auf KI-Konferenzen und in Fachzeitschriften. So stellte das Unternehmen beispielsweise kürzlich auf der COLING-Konferenz eine Arbeit vor, in der beschrieben wird, wie robust das System gegenüber Humanisierern und Paraphrasierern ist.

Mythos 3: Die KI-Erkennung wurde weder einer wissenschaftlichen Begutachtung unterzogen noch von Wissenschaftlern validiert.

Pangrams Arbeit wurde nicht nur von Fachkollegen begutachtet, sondern kann auch jederzeit von jedermann eingesehen werden.

Pangram wurde kürzlich in mehreren begutachteten Fachpublikationen vorgestellt und einer Leistungsbewertung unterzogen. Pangram gewann den Preis für den genauesten und robustesten Detektor im Rahmen der COLING Shared Task, einem Wettbewerb, an dem mehrere Open-Source- und kommerziell erhältliche KI-Detektoren teilnahmen.

Pangram wurde kürzlich auch in einer Studie der University of Maryland vorgestellt, die zeigt, dass es der einzige automatisierte KI-Detektor ist, der bei der Erkennung von KI-generierten Texten besser abschneidet als geschulte menschliche Experten, sowie in einer weiteren Forschungsarbeit der University of Houston, die belegt, dass Pangram der einzige KI-Detektor ist, der gegenüber Übersetzungen robust ist.

Ältere, häufig zitierte Forschungsstudien, wie beispielsweise die Weber-Wulff-Studie aus dem Jahr 2023 und die Liang-Studie, die belegen, dass KI-Detektoren gegenüber ESL voreingenommen sind, beziehen Pangram nicht in ihre Vergleichstests ein. Diese Studien sind nicht nur veraltet, sondern wir haben auch nachgewiesen, dass Pangram bei diesen Vergleichstests hervorragende Ergebnisse erzielt, während andere Detektoren dies nicht tun.

Pangram scheut sich nicht davor, sich von Forschern auf Herz und Nieren prüfen zu lassen, und gewährt daher akademischen Forschern, die die Genauigkeit des KI-Detektors von Pangram untersuchen möchten, uneingeschränkten kostenlosen Zugang.

Mythos 4: KI-Detektoren sind ungenau.

Ich wurde schon oft von Leuten angesprochen, die behaupteten, ihre Arbeit sei als KI-Text markiert worden, obwohl sie von Menschen verfasst worden war. Leider glaube ich, dass hier mehrere Faktoren eine Rolle spielen.

Es gibt Menschen, die glauben, KI-Detektoren seien einfach nicht gut, weil Autoren und Institutionen dies ohne Beweise immer wieder unumwunden behaupten. Nehmen wir zum Beispiel diesen Artikel , in dem behauptet wird: „Bis Mitte 2024 war kein Erkennungsdienst in der Lage, KI-generierte Inhalte mit einer Genauigkeit zu identifizieren, die über dem Zufallsniveau liegt, und die Illinois State University unterhält keine Beziehungen zu einem dieser Dienste.“ Dies ist eine erfundene Behauptung, da selbst die schlechtesten KI-Detektoren immer noch einige KI-Inhalte erkennen. Pangram weist eine Falsch-Positiv-Rate von 1/10.000 auf, da dies in ihrer Entwicklung und Methodik, die in ihrem Whitepaper nachzulesen ist, die tatsächliche Anzahl der falschen Erkennungen ist, die sie feststellen – was etwa 100-mal besser ist als die nächstbeste verfügbare kommerzielle Software.

Keine Erkennungssoftware kann zu 100 % genau sein. Das ist unmöglich. KI-Detektoren sind im Allgemeinen gut; die Erkennung durch Pangram ist besser. Keine KI-Erkennung ist zu 100 % zuverlässig. Wenn Sie zwei Texte, die angeblich von Menschen verfasst wurden, durch Pangram (oder einen beliebigen Detektor) laufen lassen würden und beide fälschlicherweise als KI-Text markiert würden, wäre die statistische Wahrscheinlichkeit, dass der Detektor falsch liegt, absurd viel geringer als die Wahrscheinlichkeit, dass der Text tatsächlich von einer KI verfasst wurde. Das ist das Problem, das Schulen lösen wollen – die Sicherheit, wenn behauptet wird, dass etwas mit KI geschrieben wurde, obwohl dies nicht der Fall ist. Mit Pangram können wir viel sicherer sein, dass ein Text von einer KI stammt, als wenn eine Person behauptet, dass dies nicht der Fall ist.

Mythos 5: KI-Detektoren erkennen Schreibhilfen wie Grammarly nicht

Es herrscht das Missverständnis, dass generative KI-Hilfen wie Grammarly nicht erkannt werden. Das mag bei anderen Erkennungsprogrammen zutreffen, aber Pangram erkennt einen erheblichen Anteil an generativer KI-Unterstützung beim Schreiben. Das bedeutet: Ja, die von Ihnen verfasste Arbeit stammt von Ihnen selbst, aber sie wird als KI-generiert markiert, weil Sie in erheblichem Umfang KI eingesetzt haben, um sie „aufzupolieren“. Das beobachte ich bei Studierenden ständig.

Grammarly ist längst nicht mehr nur ein Tool zur Grammatikprüfung. Es handelt sich um ein vollwertiges KI-Hilfsprogramm, das studentische Aufsätze mithilfe eines großen Sprachmodells komplett umschreibt. Wenn ein Student Grammarly auf diese Weise nutzt, um den Aufbau und den Stil seines ursprünglichen Textes grundlegend zu verändern, erkennt Pangram den Aufsatz als KI-generiert.

Aus diesem Grund empfehle ich Lehrkräften nachdrücklich, eine KI-Richtlinie einzuführen, wie beispielsweise das Stufensystem auf der Website von Pangram, damit keine Missverständnisse darüber entstehen, welche Arten der Unterstützung durch KI-Tools im Schreibprozess zulässig sind und was als Fehlverhalten gilt.

Mythos 6: KI-Detektoren richten Schaden an, indem sie falsche Anschuldigungen gegen ehrliche Studierende erheben.

Kritiker der KI-Erkennung argumentieren häufig, dass die falsche Anschuldigung von Schülern, KI verwendet zu haben, dem Ruf des Schülers und der Glaubwürdigkeit des Lehrers irreparablen Schaden zufügt.

Allerdings ist ein Pangram an sich kein Mittel zur Anklage.

Meiner Erfahrung nach handelt es sich bei einem positiven KI-Befund in einer Schülerarbeit meist um ein Missverständnis oder einfach um einen gut gemeinten Schüler, der unter dem Druck der Abgabefrist stand. Ein einfaches Gespräch zwischen Lehrer und Schüler muss nicht zwangsläufig konfrontativ sein. Wir sind der Meinung, dass Lehrkräfte die Gelegenheit nutzen sollten, den Schreibprozess des Schülers oder der Schülerin zu verstehen: Fragen Sie den oder die Schülerin, wie gut er oder sie den zugrunde liegenden Stoff versteht, sehen Sie sich den Überarbeitungsverlauf an, um ein Gefühl dafür zu bekommen, wie das Dokument entstanden ist, und bitten Sie den oder die Schülerin zu erklären, ob und wie er oder sie KI-Unterstützung beim Bearbeiten genutzt hat, anstatt sofort zu dem Schluss zu kommen, dass der oder die Schülerin betrügen wollte.

Pangram vergleicht KI-Detektoren oft mit Metalldetektoren: Wenn ein Metalldetektor anschlägt, wird man nicht sofort festgenommen. Vielmehr ist ein positiver Befund ein Anlass, ein weiteres Gespräch zu beginnen und ein tieferes Verständnis dafür zu gewinnen, was wirklich vor sich geht.

Fazit

Wie bei jedem Werkzeug ist es wichtig, dass Lehrkräfte sowohl die Stärken als auch die Grenzen der KI-Erkennung verstehen.

Zwar erkennen Systeme wie Pangram KI-generierte Texte äußerst präzise, doch kommt es in seltenen Fällen dennoch zu Fehlern.

Deshalb ist es von entscheidender Bedeutung, dass Lehrkräfte in ihren Klassenräumen klare Richtlinien, Regeln und Grenzen festlegen, welche Art von KI-Unterstützung zulässig ist, und dass positive Erkennungen durch Pangram ernst genommen werden – wobei Gespräche über den Einsatz von KI jedoch mit Einfühlungsvermögen und Neugierde geführt werden sollten. Eine positive Erkennung durch Pangram sollte niemals isoliert herangezogen werden, um einen Schüler zu bestrafen oder ihm akademisches Fehlverhalten vorzuwerfen, ohne den Schreibprozess des Schülers genauer zu verstehen.

Möchten Sie das Gespräch fortsetzen? Jason steht Ihnen gerne für ein Gespräch zur Verfügung und berät Sie bei der Erstellung einer KI-Richtlinie für Ihren Unterricht. Sie erreichen ihn unter jason@pangram.com.