Was bedeutet Ihr KI-Erkennungswert?
Sie lassen den Aufsatz eines Schülers oder den Artikel eines Freiberuflers durch einen KI-Detektor laufen. Auf dem Bildschirm erscheint eine große, fettgedruckte Zahl: 65 % KI. Was tun Sie als Nächstes?
Die Bewertungsergebnisse der KI-Erkennung lassen sich nicht mit einer herkömmlichen Bewertungsrubrik vergleichen, bei der „bestanden“ und „nicht bestanden“ eindeutig sind. Die Nuancen zwischen „vollständig KI-generiert“ und „KI-bearbeitet“ entwickeln sich weiter, ebenso wie unsere Erkennungssysteme bei Pangram.
Dieser Leitfaden erklärt einfache Prozentangaben in verständlicher Sprache. Wir erläutern, wie ein KI-Scorer Prozentwerte berechnet, was Konfidenzintervalle bedeuten und wie man den richtigen Schwellenwert für den KI-Detektor festlegt, um Maßnahmen zu ergreifen.
Was sagt dieser Prozentsatz eigentlich aus?
Wenn Sie ein Dokument mit einem KI-Erkennungstool scannen, erhalten Sie einen prozentualen KI-Wert. Zum Beispiel „50 %“. Dieser Prozentsatz bedeutet nicht, dass 50 % des Dokuments gefälscht oder von einer KI generiert sind. Er bedeutet vielmehr, dass laut dem KI-Prozentsatz-Checker 50 % dieses Dokuments von einer KI generierte oder KI-unterstützte Texte enthalten.
Beispiel für einen KI-Erkennungswert
Fortschrittliche KI-Erkennungswerkzeuge betrachten ein Dokument nicht als einen einzigen riesigen Textblock. Vielmehr zerlegen diese Werkzeuge den Text in Segmente, Sätze und Absätze. Diese einzelnen Teile werden als Segmente bewertet.
Wenn Sie bei einer 10-seitigen Arbeit eine Bewertung von 30 % erhalten, bedeutet dies wahrscheinlich, dass etwa drei Seiten Text die für ein LLM typischen Muster aufweisen. Zu diesen Mustern gehören unter anderem eine fehlende Burstiness und eine vorhersehbare Syntax. Die Bewertung bedeutet nicht, dass 30 % des Dokuments von einer KI generiert wurden.
Das AI-Score-Spektrum lesen
Wenn Sie einen KI-Detektor verwenden und ein bestimmtes Dokument einen niedrigen Wert erhält (z. B. 30 % KI-generiert), deutet dies in der Regel auf ein hybrides Dokument hin. Ein hybrides Dokument wird in der Regel von einem Menschen verfasst und anschließend mit Hilfe eines KI-Tools überarbeitet. Ein hoher Wert hingegen, wie beispielsweise 85 %, lässt stark darauf schließen, dass ein Text vollständig von einer KI generiert wurde.
Eine Mischung aus KI-generierten und von Menschen verfassten Inhalten
Ein niedriger bis mittlerer AI-Erkennungswert tritt häufig auf, wenn ein Autor:
- Nutzt Tools wie Grammarly.
- Bittet ein LLM wie ChatGPT, die von ihm verfassten Absätze „zu glätten“.
- nutzt KI, um ihre Muttersprache ins Englische zu übersetzen.
Ein hoher KI-Erkennungsanteil tritt häufig auf, wenn die sprachliche DNA eines Textes überwiegend KI-generiert ist. Das bedeutet in der Regel, dass der Verfasser dieses Textes eine Eingabeaufforderung in ein LLM eingegeben und die direkte Ausgabe dieses LLM mit einigen Änderungen kopiert und eingefügt hat.
Sind KI-Prüfprogramme zuverlässig?
Wir können die Ergebnisse anderer Tools nicht überprüfen, aber KI-Prüfprogramme für Unternehmen wie Pangram sind äußerst präzise (99,98 %). Um Ihnen bei der Beurteilung ihrer Genauigkeit zu helfen, bieten die meisten KI-Prüfprogramme für Unternehmen ein „Konfidenzintervall“ an, das angibt, wie sicher das Modell hinsichtlich seines eigenen Erkennungsprozentsatzes ist.
Die Antwort auf die Frage „Sind KI-Prüfprogramme zuverlässig?“ beruht auf zwei Tatsachen: Zur Feststellung, ob ein Text von einer KI erstellt wurde, werden statistische Modelle verwendet, und diese Modelle arbeiten mit Wahrscheinlichkeiten statt mit absoluter Gewissheit.
Eine Markierung „Hohe Zuverlässigkeit“ bedeutet, dass der Text mit bekannten Mustern aus den Trainingsdaten des LLM übereinstimmt. Und da der Text mit bekannten Mustern aus den Trainingsdaten des LLM übereinstimmt, ist der Prozentsatz der KI-Erkennung plausibel. Das bedeutet nicht, dass der Prozentsatz der KI-Erkennung absolut genau ist, sondern dass er wahrscheinlich zutreffend ist.
Die Kennzeichnung „Geringe Zuverlässigkeit“ bedeutet, dass der Text einige KI-Merkmale aufweist, das Modell jedoch nicht über genügend Daten verfügt, um eine eindeutige Entscheidung zu treffen. Viele Kennzeichnungen „Geringe Zuverlässigkeit“ sind darauf zurückzuführen, dass die Textausschnitte für eine genaue Beurteilung zu kurz sind.
Wenn Sie einen KI-Checker verwenden, der schriftliche Inhalte nur schwarz-weiß bewertet, kann Ihnen ein Tool wie Pangram dabei helfen, die konkreten Abschnitte zu identifizieren, die auf KI-generierten Text hindeuten.
Das „gemischte“ Ergebnis
In modernen Arbeitsabläufen sind „gemischte“ Inhalte, bei denen menschliches Schreiben bzw. Bearbeiten mit KI-gestütztem Schreiben bzw. Bearbeiten kombiniert wird, die gängigste Praxis. Aus diesem Grund klassifizieren Tools wie Pangram 3.0 Texte auf einem Spektrum: vollständig menschlich, leicht KI-gestützt, mäßig KI-gestützt und vollständig KI-generiert.
Gemischte Ergebnisse der KI-Bewertung
Die Einstufung von KI-generierten Texten auf einem Spektrum ist wichtig, denn ein Schüler, der für einen „leicht KI-unterstützten“ Text nur 10 % der Punkte erhält, nur weil er eine Rechtschreibprüfung verwendet hat, sollte nicht genauso behandelt werden wie ein Schüler, der einen zu 95 % „vollständig KI-generierten“ Aufsatz eingereicht hat. Die Hervorhebung zeigt Ihnen genau, welche Teile mit KI erstellt wurden.
Ab welchen AI-Score-Schwellenwerten sind Maßnahmen erforderlich?
Es gibt keine allgemeingültige „magische Zahl“, ab der Korrekturmaßnahmen erforderlich sind, doch als bewährte Vorgehensweise gilt: KI-Erkennungswerte unter 20 % deuten häufig auf eine übliche digitale Schreibhilfe hin. Werte über 60 % rechtfertigen oft ein direktes Gespräch über die Authentizität eines Textes.
Sie sollten einen Schwellenwert für den KI-Detektor festlegen, der Ihren KI-Richtlinien entspricht. Wenn Ihre Richtlinie beispielsweise vorsieht, dass „KI zum Brainstorming von Ideen, nicht jedoch zum Verfassen des Textes selbst“ verwendet werden darf, dann erfordert ein Wert von 40 % eine Überprüfung. Oder wenn Ihre Richtlinie besagt, dass „KI in keinem Teil des Schreibprozesses verwendet werden darf“, erfordert wahrscheinlich bereits ein Wert von 15 % eine Überprüfung.
Der KI-Erkennungswert, den Sie erhalten, dient als Diagnosewerkzeug. Wenn ein hoher Wert angezeigt wird, können Sie die von Pangram hervorgehobenen Textabschnitte und den Bericht„KI-Phrasen“nutzen, um sich mit dem Verfasser zusammenzusetzen und ihn zu bitten, seinen Schreibprozess zu erläutern. Dies kann zu Klarheit, Orientierung und dem Ergebnis führen, das Sie beide anstreben.
Die KI-Erkennung ist kein binäres „Bestanden/Nicht bestanden“
Pangram ist ein differenziertes Analysewerkzeug, das Einblick in die Prozesse gewährt, die das heutige Schreiben prägen. Indem sie genau verstehen, was ein KI-Wert bedeutet, können Fachleute Integritätsstandards sicher einhalten und gleichzeitig Autoren fair behandeln.
Hören Sie auf, über die Bedeutung der Zahlen zu rätseln. Mit der Segmentanalyse von Pangram erhalten Sie detaillierte, leicht verständliche Einblicke in die Texturheberschaft.
, um unsere Updates zu erhalten.
