Was bedeutet Ihr KI-Erkennungswert?

Sie lassen den Aufsatz eines Schülers oder den Artikel eines Freiberuflers durch einen KI-Detektor laufen. Auf dem Bildschirm erscheint eine große, fettgedruckte Zahl: 65 % KI. Was tun Sie als Nächstes?

KI-Erkennungswerte sind nicht mit einer herkömmlichen Bewertungsrubrik zu vergleichen, bei der „bestanden“ und „nicht bestanden“ eindeutig sind. Die Nuancen zwischen „vollständig KI-generiert“ und „KI-bearbeitet“ entwickeln sich weiter – ebenso wie unsere Erkennungssysteme bei Pangram.

Dieser Leitfaden erklärt einfache Prozentangaben in verständlicher Sprache. Wir erläutern, wie ein KI-Scorer Prozentwerte berechnet, was Konfidenzintervalle bedeuten und wie man den richtigen Schwellenwert für den KI-Detektor festlegt, um Maßnahmen zu ergreifen.

Was sagt dieser Prozentsatz eigentlich aus?

Wenn Sie ein Dokument mit einem KI-Erkennungstool scannen, erhalten Sie einen prozentualen KI-Wert. Zum Beispiel „50 %“. Dem KI-Prozent-Checker zufolge enthalten also 50 % dieses Dokuments von KI generierte oder KI-unterstützte Texte.

Beispiel für einen KI-Erkennungswert

Fortschrittliche KI-Erkennungswerkzeuge betrachten ein Dokument nicht als einen einzigen riesigen Textblock. Vielmehr zerlegen diese Werkzeuge den Text in Segmente, Sätze und Absätze. Diese einzelnen Textabschnitte werden als Segmente bewertet.

Wenn Sie bei einer 10-seitigen Arbeit eine Bewertung von 30 % erhalten, bedeutet dies wahrscheinlich, dass etwa drei Seiten des Textes die für ein LLM typischen Muster aufweisen.

Das AI-Score-Spektrum lesen

Wenn Sie einen KI-Detektor verwenden und ein bestimmtes Dokument einen niedrigen Wert erhält (z. B. 30 % KI-generiert), deutet dies in der Regel auf ein hybrides Dokument hin. Ein hybrides Dokument wird in der Regel von einem Menschen verfasst und anschließend mit Hilfe eines KI-Tools bearbeitet, oder es wird KI-generierter Text hinzugefügt.

Eine Mischung aus KI-generierten und von Menschen verfassten Inhalten

Ein KI-gestützter Erkennungswert tritt häufig auf, wenn ein Autor:

• nutzt Tools wie Grammarly.
• Bittet ein LLM wie ChatGPT, die von ihm verfassten Absätze „zu glätten“.
• nutzt KI, um ihre Muttersprache ins Englische zu übersetzen.

Ein hoher KI-Erkennungsanteil tritt häufig auf, wenn die sprachliche DNA eines Textes überwiegend KI-generiert ist. Das bedeutet in der Regel, dass der Verfasser dieses Textes eine Eingabeaufforderung in ein LLM eingegeben und die direkte Ausgabe dieses LLM mit einigen Änderungen kopiert und eingefügt hat.

Sind KI-Prüfprogramme zuverlässig?

Wir können die Ergebnisse anderer Tools nicht überprüfen, aber KI-Prüfprogramme für Unternehmen wie Pangram sind äußerst präzise (99,98 %). Um Ihnen die Beurteilung ihrer Genauigkeit zu erleichtern, bieten die meisten KI-Prüfprogramme für Unternehmen einen „Vertrauensindex“ an, der angibt, wie sicher das Modell hinsichtlich seines eigenen Erkennungsprozentsatzes ist.

Die Antwort auf die Frage „Sind KI-Prüfprogramme zuverlässig?“ beruht auf zwei Tatsachen: Zur Feststellung, ob ein Text von einer KI erstellt wurde, werden statistische Modelle verwendet, und diese Modelle arbeiten mit Wahrscheinlichkeiten statt mit absoluter Gewissheit.

Wenn Sie einen KI-Checker verwenden, der schriftliche Inhalte nur schwarz-weiß bewertet, kann Ihnen ein Tool wie Pangram dabei helfen, die konkreten Abschnitte zu identifizieren, die auf KI-generierte Texte hindeuten.

Das „gemischte“ Ergebnis

Eine Realität in modernen Arbeitsabläufen sind „gemischte“ Inhalte, bei denen menschliches Schreiben bzw. Bearbeiten mit KI-gestütztem Schreiben bzw. Bearbeiten kombiniert wird. Aus diesem Grund klassifizieren Tools wie Pangram 3.0 (und höher) Texte auf einem Spektrum: vollständig menschlich, leicht KI-gestützt, mäßig KI-gestützt und vollständig KI-generiert.

Gemischte Ergebnisse der KI-Bewertung

Die Einstufung von KI-generierten Texten auf einem Spektrum ist wichtig, da Texte mit einem Wert von 10 % für „leicht KI-unterstützt“ in der Schule oder in redaktionellen Richtlinien anders behandelt werden könnten als ein Aufsatz mit einem Wert von 95 % für „vollständig KI-generiert“. Die Hervorhebung der Abschnitte zeigt Ihnen genau, welche Teile mit KI erstellt wurden.

Ab welchen AI-Score-Schwellenwerten sind Maßnahmen erforderlich?

Es gibt keine allgemeingültige „Zauberzahl“, ab der Korrekturmaßnahmen erforderlich sind, doch als bewährte Vorgehensweise gilt: KI-Erkennungswerte unter 20 % deuten häufig auf eine übliche digitale Schreibhilfe hin. Werte über 60 % rechtfertigen oft ein direktes Gespräch über die Authentizität des Textes.

Sie sollten einen Schwellenwert für den KI-Detektor festlegen, der Ihren KI-Richtlinien entspricht. Wenn Ihre Richtlinie beispielsweise besagt: „KI darf zum Brainstorming von Ideen, nicht jedoch zum Verfassen des Textes selbst verwendet werden“, dann könnte ein Wert von 40 % eine Überprüfung erforderlich machen. Oder wenn Ihre Richtlinie besagt: „KI darf in keinem Teil des Schreibprozesses verwendet werden“, dann erfordert wahrscheinlich schon ein Wert von 15 % eine Überprüfung.

Der KI-Erkennungswert, den Sie erhalten, dient als Diagnosewerkzeug. Wenn ein hoher Wert angezeigt wird, können Sie die von Pangram hervorgehobenen Textabschnitte und den Bericht„KI-Phrasen“nutzen, um sich mit dem Verfasser zusammenzusetzen und ihn zu bitten, seinen Schreibprozess zu erläutern. Dies kann zu Klarheit, Orientierung und dem Ergebnis führen, das Sie beide anstreben.

Die KI-Erkennung ist kein binäres „Bestanden/Nicht bestanden“

Pangram ist ein differenziertes Analysewerkzeug, das Einblicke in die Prozesse gewährt, die das heutige Schreiben prägen. Indem sie genau verstehen, was ein KI-Wert bedeutet, können Fachleute Integritätsstandards sicher einhalten und gleichzeitig Autoren fair behandeln.

Hören Sie auf, zu raten, was die Zahlen bedeuten. Erhalten Sie mit der Segmentanalyse von Pangram detaillierte, leicht verständliche Einblicke in die Textverfasser.

Scannen Sie Ihr Dokument