Wie Quora Pangram nutzt, um KI-generierte Antworten zu verarbeiten

Im April 2024 ging Pangram Labs eine Partnerschaft mit Quora ein, um das Unternehmen dabei zu unterstützen, Spammern entgegenzuwirken, die ChatGPT nutzen, um auf Beiträge mit unechten, KI-generierten Antworten zu reagieren.

Quora ist eine der größten Websites der Welt, rangiert auf Platz 33 der meistbesuchten Websites weltweit und verzeichnet seit August 2024 über 1 Milliarde Seitenaufrufe pro Monat (Quelle: Semrush). Auf Quora können Nutzer Fragen stellen, die von anderen Besuchern der Website gesehen und beantwortet werden.

„Unsere Mission ist es, das Wissen der Welt zu teilen und zu vermehren. Wir sind fest davon überzeugt, dass viel Wissen in den Köpfen der Menschen schlummert und dass wir dieses Wissen erschließen können, wenn wir die richtigen Fragen den richtigen Menschen stellen.“

Lexie Wu, Gruppenproduktmanagerin, verantwortlich für die Moderation bei Quora

Was ist das Problem mit KI-Antworten?

Ein Beispiel für eine KI-generierte Antwort

Generative KI ermöglicht es Spammern, mit geringem Aufwand Hunderte oder Tausende von authentisch aussehenden Antworten zu generieren. Man könnte argumentieren, dass eine KI-Antwort immer noch ein Gewinn ist. Die Nutzer erhalten eine Antwort, die vielleicht von geringer oder mittlerer Qualität ist, aber oft in die richtige Richtung geht. Das ist besser als gar keine Antwort, oder?

Im luftleeren Raum vielleicht – aber es gibt mehrere unerwünschte Auswirkungen, wenn KI-Antworten auf Quora gegeben werden.

1. Wenn eine Frage bereits beantwortet ist, hält dies andere davon ab, Zeit in das Verfassen einer eigenen Antwort zu investieren. Selbst wenn eine Frage also eine zufriedenstellende KI-Antwort erhalten hat, macht es die KI-Antwort weniger wahrscheinlich, dass jemand seine eigenen Erfahrungen aus der Praxis teilt.
2. KI verdrängt authentische Beiträge. Wie bei vielen Plattformen sind Aufrufe und Interaktionen ein Nullsummenspiel. Jedes Mal, wenn ein Nutzer KI-Inhalte in seinem Feed oder Digest sieht, entgehen anderen echten Creators Interaktionen, die sie verdienen würden.
3. Reputationsrisiko. Die Menschen merken, wenn eine Antwort, die sie lesen, von einer KI geschrieben wurde. Das wirft die Frage auf: Warum sollte man Quora überhaupt besuchen, wenn man nur KI-Antworten liest? Warum nicht einfach zu ChatGPT gehen? Quora bietet einen anderen Mehrwert als ChatGPT – authentische Antworten von echten Menschen – und kuratiert seine Plattform, um sicherzustellen, dass dies auch so bleibt.

Warum Pangram verwenden?

Manchmal ist es mit bloßem Auge schwer zu erkennen, ob etwas von einer KI geschrieben wurde. In anderen Fällen ist es einfach eine zeitaufwändige Aufgabe, bei der ein Moderator eine Weile lang sorgfältig lesen muss, bevor er sich sicher sein kann. Durch die Automatisierung dieses Prozesses entfällt eine ansonsten kostspielige Moderationsarbeit, was langfristig Zeit und Geld spart.

Es gibt zwar einige Open-Source-Lösungen, die das Problem der KI-Erkennung für GPT-2 lösen sollen, aber keine dieser Lösungen funktionierte gut mit GPT-4, dem am häufigsten verwendeten großen Sprachmodell (LLM). Plattformen wie Quora wünschen sich eine Lösung, die selbst die Ergebnisse fortschrittlicher Modelle wie GPT-4 klassifizieren kann. Im Idealfall würde eine solche Lösung auch mit neuen LLMs funktionieren, da alle paar Monate neue Sprachmodelle auf dem neuesten Stand der Technik auf den Markt kommen.

Pangram, mit robusten Bewertungen und einer über 100-fachen Genauigkeit gegenüber Konkurrenten wie GPTZero, war im April 2024 eine der wenigen Optionen, die GPT-4-geschriebene Inhalte zuverlässig erkennen konnten, und ist auch heute noch mit großem Abstand das genaueste KI-Erkennungsmodell.

Darüber hinaus verfügt die Datenpipeline von Pangram über eine integrierte Robustheit gegenüber zukünftigen LLM-Versionen. Sie ist in der Lage, synthetische Trainingsdaten zu generieren und innerhalb von 24 Stunden nach Verfügbarkeit eines LLM ein neues Modell zu trainieren. Im Juli 2024 erweiterte Pangram die Sprachunterstützung auf über 20 Sprachen und verbessert weiterhin die Modellierung, um eine hohe Genauigkeit für die Kunden zu gewährleisten.

Auswirkung

Bis September 2024 hat Quora mehr als 1 Million KI-generierte Beiträge identifiziert, wodurch die Qualität der Inhalte auf der gesamten Website verbessert und der Ruf als authentische und vertrauenswürdige Informationsquelle gewahrt wurde.

Pangram dient weiterhin als Kraftverstärker für Trust & Safety-Teams und stellt ihnen die Tools zur Verfügung, die sie benötigen, um selbstbewusst Richtlinien für KI-Inhalte festzulegen.

Haben Sie einen Anwendungsfall für KI-Erkennung? Kontaktieren Sie uns unter info@pangram.com!