Wie Quora Pangram nutzt, um von KI verfasste Antworten zu verarbeiten

Im April 2024 ging Pangram Labs eine Partnerschaft mit Quora ein, um dem Unternehmen dabei zu helfen, gegen Spammer vorzugehen, die ChatGPT nutzen, um auf Beiträge mit unechten, KI-generierten Antworten zu reagieren.

Quora ist eine der größten Websites der Welt: Sie rangiert weltweit auf Platz 33 der meistbesuchten Websites und verzeichnet seit August 2024 über 1 Milliarde Seitenaufrufe pro Monat (Quelle: Semrush). Auf Quora können Nutzer Fragen stellen, die von anderen Besuchern der Website gesehen und beantwortet werden.

„Unsere Mission ist es, das Wissen der Welt zu teilen und zu erweitern. Wir sind fest davon überzeugt, dass viel Wissen in den Köpfen der Menschen schlummert und dass wir dieses Wissen erschließen können, wenn wir die richtigen Fragen an die richtigen Personen richten.“

Lexie Wu, Gruppenproduktmanagerin für Moderation bei Quora

Was ist das Problem mit KI-Antworten?

Ein Beispiel für eine von einer KI verfasste Antwort

Mithilfe generativer KI können Spammer mit geringem Aufwand Hunderte oder Tausende von authentisch wirkenden Antworten generieren. Man könnte argumentieren, dass eine KI-Antwort dennoch insgesamt positiv zu bewerten ist. Die Nutzer erhalten eine Antwort, die zwar vielleicht von geringer oder mittlerer Qualität ist, aber oft in die richtige Richtung weist. Das ist doch besser als gar keine Antwort, oder?

Vielleicht im Idealfall – doch die Verwendung von KI-Antworten auf Quora hat mehrere unerwünschte Auswirkungen.

1. Wenn eine Frage bereits beantwortet ist, hält dies andere davon ab, Zeit in das Verfassen einer eigenen Antwort zu investieren. Auch wenn eine Frage vielleicht eine passable KI-Antwort erhalten hat, verringert diese die Wahrscheinlichkeit, dass jemand seine eigenen Erfahrungen aus der Praxis teilt.
2. KI verdrängt authentische Beiträge. Wie bei vielen Plattformen sind Aufrufe und Interaktionen ein Nullsummenspiel. Jedes Mal, wenn ein Nutzer KI-Inhalte in seinem Feed oder seiner Zusammenfassung sieht, entgehen anderen echten Content-Erstellern die Interaktionen, die ihnen zustehen.
3. Reputationsrisiko. Die Leute merken, wenn eine Antwort, die sie lesen, von einer KI verfasst wurde. Das wirft die Frage auf: Warum sollte man Quora überhaupt besuchen, wenn man dort nur KI-Antworten liest? Warum nicht einfach zu ChatGPT gehen? Quora bietet einen anderen Mehrwert als ChatGPT – authentische Antworten von echten Menschen – und kuratiert seine Plattform so, dass dies auch weiterhin gewährleistet bleibt.

Warum Pangram nutzen?

Manchmal ist es mit bloßem Auge schwer zu erkennen, ob ein Text von einer KI verfasst wurde. In anderen Fällen ist es einfach eine zeitaufwändige Aufgabe, bei der ein Moderator den Text eine Weile lang sorgfältig lesen muss, bevor er sich sicher sein kann. Durch die Automatisierung dieses Prozesses entfällt eine ansonsten kostspielige Moderationsaufgabe, was langfristig Zeit und Geld spart.

Zwar gibt es einige Open-Source-Lösungen, die darauf abzielen, das Problem der KI-Erkennung bei GPT-2 zu lösen, doch keine dieser Lösungen funktionierte zufriedenstellend bei GPT-4, dem am häufigsten verwendeten großen Sprachmodell (LLM). Plattformen wie Quora wünschen sich eine Lösung, die auch die Ausgaben fortgeschrittener Modelle wie GPT-4 klassifizieren kann. Im Idealfall sollte eine solche Lösung auch mit neuen LLMs kompatibel bleiben, da alle paar Monate neue, bahnbrechende Sprachmodelle auf den Markt kommen.

Pangram, das sich durch solide Bewertungen und eine mehr als 100-mal höhere Genauigkeit als Konkurrenten wie GPTZero auszeichnet, war im April 2024 eine der wenigen Optionen, die von GPT-4 verfasste Inhalte zuverlässig erkennen konnten, und ist auch heute noch mit großem Abstand das genaueste Modell zur Erkennung von KI-Inhalten.

Darüber hinaus ist die Datenpipeline von Pangram von vornherein auf zukünftige LLM-Versionen ausgelegt. Sie ist in der Lage, synthetische Trainingsdaten zu generieren und innerhalb von 24 Stunden nach der Veröffentlichung eines LLM ein neues Modell zu trainieren. Im Juli 2024 hat Pangram die Sprachunterstützung auf über 20 Sprachen ausgeweitet und arbeitet weiterhin an der Verbesserung der Modellierung, um den Kunden eine hohe Genauigkeit zu gewährleisten.

Auswirkungen

Bis September 2024 hat Quora mehr als 1 Million KI-generierte Beiträge identifiziert, wodurch die Qualität der Inhalte auf der gesamten Website verbessert und der Ruf der Plattform als authentische und vertrauenswürdige Informationsquelle gewahrt wurde.

Pangram fungiert weiterhin als Kraftverstärker für die Trust & Safety-Teams und stellt ihnen die Werkzeuge zur Verfügung, die sie benötigen, um Richtlinien für KI-Inhalte sicher festzulegen.

Haben Sie einen Anwendungsfall für die KI-Erkennung? Kontaktieren Sie uns unter info@pangram.com!