KI-Aufsatzprüfer: Was funktioniert tatsächlich bei der Überprüfung von Schüler- und Studententexten?

Laut der jüngsten Studie des College Board geben 74 % der Lehrkräfte an Hochschulen und Universitäten an, dass Studierende KI zum Verfassen ihrer Aufsätze nutzen.

Dabei handelt es sich nicht einmal um eine Erhebung darüber, wie viele Studierende KI nutzen, ohne dabei erwischt zu werden. Die Zahl bezieht sich lediglich auf die Lehrkräfte, denen dies aufgefallen ist.

Angesichts dieser weit verbreiteten Nutzung von KI im akademischen Bereich ist es nicht mehr optional, die Merkmale großer Sprachmodelle (LLMs) zu erkennen und die Integrität der studentischen Texte zu überprüfen. Dies hat zur Entwicklung von KI-Aufsatzprüfprogrammen geführt, bei denen es sich (im Guten wie im Schlechten) um ein weiteres LLM handelt, das verspricht, den Einsatz von KI zu identifizieren – oft mit gemischten Ergebnissen.

Heute schauen wir uns an, was ein KI-Aufsatzprüfprogramm ist, wie es funktioniert und ob man es erfolgreich zur Überprüfung von studentischen Texten einsetzen kann.

Was ist ein KI-Aufsatzprüfer?

Ein KI-Aufsatzprüfer ist ein Software-Tool, das einen Text – in diesem Fall einen Schüleraufsatz – auf Anzeichen für den Einsatz von KI überprüft. Ziel ist es, sicherzustellen, dass der Schüler den Aufsatz ohne Unterstützung durch ein großes Sprachmodell (LLM) verfasst hat, und in manchen Fällen auch, auf häufige Rechtschreib- und Grammatikfehler zu prüfen.

Der Begriff „Aufsatzprüfer“ umfasst zwei verschiedene Aufgabenbereiche, und es ist hilfreich, diese voneinander zu unterscheiden, bevor man ein Tool bewertet.

Prüfprogramme für Grammatik und Verständlichkeit

Die erste Art von Essay-Checker hilft Autoren dabei, einen Entwurf zu verbessern, indem Grammatik, Verständlichkeit, Struktur und Quellenangaben überprüft werden. Diese Tools sind im Unterricht weitgehend unumstritten.

Zu den gängigen Tools zur Verbesserung von Texten gehören:

• ProWritingAid
• Quillbot
• Paperpal
• Hemingway-Editor
• Grammarly (das mittlerweile allerdings eine KI-Erkennung in sein Paket integriert hat)

Tools zur Überprüfung der Textquelle

Die zweite Art von Essay-Checker überprüft die Herkunft eines Textes. Dazu gehört die Suche nach KI-generiertem Text (d. h., ob der Text mit Hilfe einer Maschine erstellt wurde) und manchmal auch die Suche nach Plagiaten.

Zu den gängigen Beispielen für diese Art von Tools gehören:

• Pangram
• Originality.ai
• GPTZero
• Turnitin

Die meisten Lehrkräfte haben nichts gegen automatisierte Grammatik- und Rechtschreibhilfen einzuwenden, daher sind diese Aufsatzprüfprogramme nicht das Problem, wenn es um Fragen der akademischen Integrität geht.

Wenn es jedoch darum geht, dass Studierende KI nutzen, um ihren gesamten Aufsatz zu generieren, sieht die Sache ganz anders aus. Und genau dann beginnen viele Lehrkräfte, nach der zweiten Art von Aufsatzprüfprogrammen zu suchen, die ihnen dabei helfen, die Authentizität der studentischen Arbeiten zu überprüfen.

Tipp: Einige angebliche KI-Aufsatzprüfprogramme enthalten auch sogenannte „AI Humanizer“, die es dem Nutzer ermöglichen, den Text leicht zu variieren, damit er menschlicher klingt (wobei es sich jedoch weiterhin um das eigentliche Ergebnis eines LLM handelt). Diese Funktion ist das Gegenteil dessen, was Sie als Pädagoge anstreben; vermeiden Sie daher Tools, die diese Funktion anbieten.

Was ist der Unterschied zwischen einem Essay-Checker und einem Plagiatsprüfer?

Diese Frage wird uns oft gestellt, und es passiert leicht, dass man die beiden Begriffe verwechselt. Der Unterschied zwischen einem KI-Aufsatzprüfer und einem Plagiatsprüfer ist jedoch recht einfach: Sie lösen zwei unterschiedliche Probleme.

Ein KI-Aufsatzprüfer fragt: „Wurde dies von einer KI geschrieben?“ und gibt dem Analysten eine Bewertung, die angibt, wie wahrscheinlich es ist, dass die Antwort auf diese Frage „Ja“ lautet. Er gibt keinen Aufschluss darüber, woher ein KI-Text stammt, sondern lediglich, dass er von einem LLM generiert wurde.

Ein Plagiatsprüfer hingegen fragt: „Wurde dieser Text aus einer bestehenden Quelle kopiert?“ Er sucht in Millionen von Artikeln, Websites, Foren und Datenbanken nach fast wortgetreuen Übereinstimmungen und liefert dem Analysten markierte Stellen, die seine Arbeit veranschaulichen.

Wenn Sie Lehrer sind, erkennen Sie wahrscheinlich bereits den Bedarf an beiden. Zwar gibt es gewisse Überschneidungen zwischen den beiden (KI kann auf der Grundlage ihrer TrainingsdatenPlagiate erstellen ), doch erfüllt jede einen ganz eigenen Zweck. Es gibt hier zwei Möglichkeiten, wie ein Schüler versuchen kann, eine Aufgabe zu umgehen, anstatt sie zu erledigen – und zwei unterschiedliche Lösungen.

Wie genau sind KI-Aufsatzprüfprogramme?

Die Genauigkeit bei der KI-Erkennung lässt sich nicht mit einer einzigen Zahl ausdrücken, und kein Tool liegt zu 100 % richtig. Ob ein KI-Erkennungstool „funktioniert“ oder nicht, hängt von zwei Faktoren ab:

• Die Erkennungsrate gibt an, ob das Erkennungswerkzeug die Nutzung von KI überhaupt erkennen kann.
• Die Falsch-Positiv-Rate (FPR) bezeichnet den Anteil der Fälle, in denen das Tool von Menschen verfasste Texte fälschlicherweise als KI-generiert einstuft.

Eine Infografik zum Vergleich der Erkennungsrate und der Falsch-Positiv-Rate bei KI-Aufsatzprüfprogrammen.

Falschpositive Ergebnisse sind für Lehrkräfte ein großes Problem, da der Vorwurf akademischer Unredlichkeit immer mit Risiken verbunden ist – und wenn dieser auf der Grundlage eines falschpositiven Ergebnisses erhoben wird, kann dies zu einer ungerechtfertigten schlechten Note oder sogar zum Ausschluss führen.

Die meisten Erkennungsprogramme weisen Schwachstellen auf. Kurze und stark überarbeitete Texte sind für alle KI-Erkennungslösungen am schwierigsten zu analysieren, insbesondere jedoch für ein auf Perplexität basierendes Analyse-Tool.

Deshalb ist Pangram mit seiner von Dritten verifizierten FPR von 0,01 % ein zuverlässiges Erkennungsprogramm für den Einsatz im Hochschulbereich. Die von uns verwendete Erkennungstechnologie auf Basis neuronaler Netze hält Paraphrasier- und Humanisierungs-Tools stand, sodass Sie sicher sein können, dass die Wahrscheinlichkeit eines falsch-positiven Ergebnisses so gering wie möglich ist.

Ist der Einsatz von KI zum Verfassen eines Aufsatzes eine Form akademischer Unredlichkeit?

Das Verfassen eines Aufsatzes mithilfe von KI ist nicht ganz dasselbe wie Plagiat, doch die meisten Universitäten behandeln es als einen damit verbundenen Verstoß gegen die akademische Integrität. Der Grund dafür liegt darin, wie Verstöße in den Richtlinien zur akademischen Integrität definiert werden.

„Plagiat ist die Darstellung von Ideen, Forschungsergebnissen oder Texten, die nicht von einem selbst stammen, als eigene. Beispiele für Plagiate sind: Das Kopieren der tatsächlichen Worte oder Bilder einer anderen Person oder eines KI-Tools ohne die Verwendung von Anführungszeichen und Quellenangaben, die die Worte ihrer Quelle zuordnen.“

– City University of New York


Nach vielen Definitionen von Plagiaten, darunter auch denen der University of Michigan und der Oxford University, läuft es letztlich darauf hinaus, dass man eine Arbeit einreicht, die man nicht selbst verfasst hat.

Die Verwendung eines LLM zur Textgenerierung bedeutet, dass man die Fähigkeit der KI nutzt, wahrscheinliche Wortfolgen vorherzusagen, um eine Aufgabe zu erledigen – was sich deutlich davon unterscheidet, die Aufgabe selbst zu erledigen. Wenn ein Studierender diese Arbeit einreicht, präsentiert er die Arbeit eines anderen als seine eigene, was der gängigen Definition von Plagiat entspricht.

So überprüfen Sie einen Aufsatz auf KI-Einsatz (Schritt für Schritt)

Nachdem wir nun geklärt haben, was ein KI-Aufsatzprüfer ist und wie er funktioniert, wollen wir uns damit befassen, wie man einen Aufsatz so überprüft, dass das Ergebnis einer Prüfung standhält.

Eine Abbildung, die vier Schritte zur Überprüfung eines Aufsatzes auf KI-Einsatz zeigt.

1. Den Text ausführen

Der erste Schritt besteht natürlich darin, den Aufsatz mit einem KI-Detektor zu überprüfen. Das geht ganz einfach per Kopieren und Einfügen oder direkt in Ihrem LMS, wo sich die Arbeit bereits befindet.

Pangram bietet eine Chrome-Erweiterung sowie Integrationen für Canvas und Blackboard an, sodass Sie die Texte der Studierenden zur Benotung nicht extra exportieren müssen. Wenn Sie diesen Arbeitsablauf jedoch bevorzugen, nur zu!

2. Überprüfen Sie den KI-Wahrscheinlichkeitswert

Sobald Sie den Text geprüft haben, erhalten Sie eine Bewertung. Die Bewertung lautet nicht „Ja“ oder „Nein“, sondern wird als Skala oder Prozentsatz angegeben, der angibt, wie wahrscheinlich es ist, dass der Text von einem LLM generiert wurde. Dies dient eher als Orientierungshilfe für Sie und ist kein endgültiges Urteil.

Wenn der Aufsatz eindeutig zu 100 % als von Menschen verfasst eingestuft wird, können Sie weitermachen. Ein niedrigerer Wert ist jedoch ein Hinweis darauf, dass eine genauere Prüfung erforderlich ist.

3. Die Flags auf Segmentebene auslesen

Bei Aufsätzen, bei denen ein gewisser Prozentsatz an KI-Inhalten festgestellt wurde, ist dies der Punkt, an dem Sie genauer hinschauen müssen. Dies ist auch der Punkt, an dem sich ein leistungsstarker Detektor von den anderen abhebt.

An dieser Stelle des Prozesses kann Pangram (zum Beispiel) die spezifischen Passagen innerhalb eines Aufsatzes hervorheben, die KI-Muster enthalten. Sie können sehen, wo die Markierung auftritt, was sie ausgelöst hat und ob es sich um drei Sätze handelt, die das Problem verursacht haben, oder ob der gesamte Aufsatz unter Verdacht steht.

Diese Detailgenauigkeit ist hilfreich, wenn Sie Ihre Argumentation gegenüber einem Studierenden oder einem Ausschuss für akademische Integrität erläutern müssen.

4. Vor jeder Entscheidung den Kontext berücksichtigen

Schließlich sollten Sie markierte Passagen oder sogar ganze Arbeiten stets mit früheren Arbeiten und dem Schreibstil des Schülers vergleichen.

Stimmt die von Ihnen analysierte Arbeit mit früheren Texten überein? Klingt sie anders als das, was der Schüler in Tests oder auf Papier schreibt? Die Antworten auf diese Fragen helfen Ihnen dabei, sich ein Urteil zu bilden.

Denken Sie während dieses gesamten Gesprächs daran, dass die Bewertung eines KI-Detektors nur ein Teil eines größeren Puzzles ist.

Worauf man bei einem KI-Aufsatzprüfer achten sollte

Bei der Suche nach einem KI-Aufsatzprüfer sollte für jeden die Genauigkeit oberste Priorität haben. Es nützt niemandem etwas, wenn von Menschen verfasste Texte fälschlicherweise als Plagiat markiert werden – und es kann sogar großen Schaden anrichten.

Wie können wir das vermeiden?

Achten Sie bei der Bewertung potenzieller KI-Aufsatzprüfer auf diese sechs Punkte:

1. Eine niedrige Falsch-Positiv-Rate: Die von einer unabhängigen Stelle verifizierte FPR von Pangram in Höhe von 0,01 % bedeutet, dass Sie, wenn das Tool einen Aufsatz als verdächtig markiert, entsprechend handeln können, ohne sich Gedanken darüber machen zu müssen, ob Sie damit einen ehrlichen Studierenden zu Unrecht beschuldigen.
2. Analyse auf Segmentebene: Eine einzige Bewertung für ein gesamtes Dokument ist nicht besonders aussagekräftig. Markierungen auf Satzebene zeigen Ihnen genau, welche Passagen den Anschein erwecken, von einer KI generiert worden zu sein, sodass Sie die Unterschiede erkennen können.
3. Gleichzeitige KI- und Plagiatserkennung: Ein Tool, das in einem Durchgang sowohl auf generierten als auch auf kopierten Text prüft, schließt beide Lücken auf einmal, anstatt Sie zu zwingen, bei jeder Einreichung zwei separate Überprüfungen durchzuführen.
4. Unterstützung für über 20 Sprachen: Leider kann es vorkommen, dass einige der weniger leistungsfähigen Erkennungsprogramme die Texte von ESL-Schülern fälschlicherweise als KI-generiert einstufen. Achten Sie daher auf eine umfassende Sprachunterstützung, damit Ihre mehrsprachigen Schüler fair bewertet werden.
5. LMS-Integration: Ein Detektor, für den Sie Ihr Notenbuch verlassen müssen, verursacht nur mehr Arbeit und zusätzliche Schritte. Sie sollten nach einem KI-Detektor suchen, der Ihnen das Leben erleichtert und nicht erschwert.
6. Unabhängige Validierung durch Dritte: Vor allem muss Ihr Tool einer genauen Prüfung standhalten können. Achten Sie daher auf ein Tool, das von unabhängigen Stellen getestet und verifiziert wurde.

Wenn Sie einen Checker finden, der diese sechs Prüfkriterien erfüllt, können Sie sicher sein, dass Sie es mit einem hochwertigen Tool zu tun haben, das seine Versprechen einhält.

Häufig gestellte Fragen zu KI-basierten Aufsatzprüfprogrammen

Haben Sie noch Fragen zum Einsatz von KI in Aufsätzen und dazu, wie Sie diese erkennen können? Wir haben die Antworten.

Gibt es einen kostenlosen KI-Aufsatzprüfer?

Technisch gesehen ja, es gibt mehrere Tools, die einen kostenlosen KI-Plagiatsprüfer anbieten, aber das bedeutet in der Regel Einschränkungen hinsichtlich der Wortzahl, der Anzahl der Prüfungen pro Monat oder der Tiefe der Analyse, die man erhält.

Das klingt theoretisch gut, aber diese Einschränkungen gehen oft mit einer höheren Falsch-Positiv-Rate einher, wodurch die Ergebnisse für die Gewährleistung der akademischen Integrität weniger aussagekräftig sind.

Sind Essay-Prüfprogramme wirklich effektiv?

Ein Essay-Checker funktioniert in der Regel gut, wenn er eine hohe Erkennungsrate bei einer Falsch-Positiv-Rate nahe Null aufweist. Wenn der von Ihnen getestete Checker seine Erkennungsmethodik nicht offenlegt, sollten Sie misstrauisch sein. Tools, die einen nennenswerten Anteil menschlicher Texte als KI-Text kennzeichnen (oder umgekehrt), sind für Sie in keiner Weise hilfreich.

Gibt es einen kostenlosen KI-Aufsatzprüfer, auf den ich mich bei der Benotung verlassen kann?

Sicherlich finden Sie einen kostenlosen KI-Aufsatzprüfer (eine einzige Google-Suche liefert Dutzende davon), aber das bedeutet nicht, dass er auch so funktioniert, wie Sie es sich wünschen. Bevor Sie einem Tool vertrauen – egal ob kostenlos oder nicht –, sollten Sie sich immer vergewissern, dass es von einer seriösen unabhängigen Stelle getestet und überprüft wurde.

Finden Sie den richtigen Essay-Checker für akademische Integrität

Letztendlich gilt: Wenn Sie die Texte Ihrer Studierenden überprüfen müssen, müssen Sie sicher sein können, dass jedes Tool, das Sie zu diesem Zweck einsetzen, Ergebnisse liefert, auf die Sie sich verlassen können. Deshalb sind wir bei Pangram so stolz auf unsere Falsch-Positiv-Rate von 0,01 %: Sie gibt Lehrenden und akademischen Führungskräften die Gewissheit, fundierte Maßnahmen ergreifen zu können.

Möchten Sie das Tool an den Einsendungen Ihrer Studierenden ausprobieren? Starten Sie noch heute mit der Pangram-Chrome-Erweiterung und überprüfen Sie Aufsätze direkt in Ihrem LMS.