
Die „Person des Jahres 2023“ war wohl die KI. Wir alle wurden von der Geschwindigkeit der Innovation und den Fähigkeiten großer Sprachmodelle (LLMs) sowie ganz allgemein der generativen KI (GenAI) überrascht. Gleichzeitig stellen viele, insbesondere auf Online-Plattformen, Fragen zu den potenziellen Risiken, die diese Technologien mit sich bringen können – siehe diesen Artikel der Harvard Business Review, in dem einige KI-Risiken dargelegt werden. Online-Plattformen könnten bald mit KI-generierten Inhalten überschwemmt werden, was Auswirkungen auf die Sicherheit und Bindung ihrer Nutzer sowie auf den Ruf der Plattformen hat. Es gibt bereits Start-ups, die Tools zur Generierung und Verbreitung riesiger Mengen an GenAI-Inhalten anbieten.
KI und GenAI können jedoch auch zu unserem Vorteil genutzt werden, um diese Risiken zu bewältigen und sicherere digitale Räume und Online-Plattformen zu schaffen, wie einige Ideen aus dem jüngsten „Trust & Safety Hackathon“ zeigen. Angesichts der Entstehung neuer Tools ist jetzt ein guter Zeitpunkt, um Bilanz zu ziehen, wo wir in Bezug auf die neuesten Innovationen und Prozesse stehen, mit denen die Risiken bewältigt werden können, denen Online-Plattformen aufgrund von GenAI ausgesetzt sind.
Dieser Artikel kann bei der Beantwortung folgender Fragen helfen:
Jedes Unternehmen, das nutzergenerierte Inhalte nutzt, benötigt eine Richtlinie für generative KI. Dabei sind im Allgemeinen zwei Fragen zu klären: Möchten die Nutzer KI-generierte Inhalte sehen, und haben sie nichts dagegen, wenn KI-Inhalte mit von Menschen erstellten Inhalten vermischt werden?
Wenn Sie eine dieser Fragen mit „Nein“ beantworten, benötigen Sie Richtlinien für KI-Inhalte. Dazu gehört beispielsweise die Verpflichtung, KI-Inhalte offenzulegen, oder ein ausdrückliches Verbot solcher Inhalte. Solche Richtlinien können von menschlichen Moderatoren mit scharfem Blick und mithilfe effektiver Prozesse sowie Tools wie Pangram Labs durchgesetzt werden.
Wenn die Antwort „Ja“ lautet – also die Nutzer kein Problem damit haben oder sogar begeistert sind, KI-generierte Inhalte zu sehen –, dann ist aus strategischer Sicht alles in Ordnung. Bevor Sie jedoch direkt KI-Tools wie die KI-gestützten Nachrichten von LinkedIn einführen, müssen Sie dennoch sicherstellen, dass die Inhalte sicher sind. Dazu benötigen Sie einige Leitplanken und, was noch wichtiger ist, müssen Sie stets Prozesse einrichten, um KI-generierte Inhalte effektiv und effizient zu moderieren, ähnlich wie bei der Moderation von nutzergenerierten Inhalten, und zwar mithilfe von Tools wie der Moderationsplattform von Tremau.
Natürlich hängt Ihre GenAI-Richtlinie von Ihrem Unternehmen und dem jeweiligen Kontext ab. Es gibt keine Einheitslösung. Wenn Sie beispielsweise einen Marktplatz oder generell eine Plattform betreiben, auf der sich Nutzer auf Bewertungen anderer Nutzer verlassen, müssen Sie möglicherweise sicherstellen, dass keine KI-generierten Bewertungen auf Ihre Plattform gelangen. Allgemeiner gesagt müssen Sie auch sicherstellen, dass keine von KI generierten illegalen Inhalte – ähnlich wie nutzergenerierte Inhalte – auf Ihrer Plattform zu finden sind. Bots und Spam waren schon immer eine Herausforderung, aber mit der Leistungsfähigkeit von GenAI sind sie noch mächtiger und schwerer zu erkennen.
Die meisten kommerziellen KI-APIs bieten eine Art von KI-Sicherheitsvorkehrungen. Die Gemini-API von Google bewertet ihre Ausgaben automatisch in vier Sicherheitskategorien: Hassrede, Belästigung, sexuell eindeutige Inhalte und gefährliche Inhalte. Wenn Sie die OpenAI-API von Azure verwenden, erhalten Sie ähnliche Bewertungen basierend auf den Inhaltsfiltern „Hass und Fairness“, „Sexualität“, „Gewalt“ und „Selbstverletzung“. Beide APIs lehnen Anfragen ab, die in einer dieser Kategorien zu hoch punkten, überlassen jedoch die Entscheidung über mittlere Sicherheitsstufen Ihrem Ermessen.
Wenn Sie ein Open-Source-Modell wie Llama-2 oder Mistral verwenden, müssen Sie Ihren eigenen Inhaltsfilter entwickeln. Dies lässt sich durch einen separaten Aufruf eines Closed-Source-Klassifikators (die Inhaltsfilter-API von OpenAI, die AI Content Safety API von Azure) oder einer Open-Source-Lösung wie dem kürzlich von Meta veröffentlichten LlamaGuard bewerkstelligen. LlamaGuard ist ein LLM-basiertes Modell mit 7 Milliarden Parametern, das im Benchmark sehr gut abschneidet. Es ist vielversprechend für die Klassifizierung von Eingaben und Antworten sowie für die allgemeine Inhaltsmoderation.
Ganz gleich, welche automatisierten Tools Sie zum Schutz Ihrer Nutzer und Ihres Unternehmens einsetzen – keine Technologie kann Sie vollständig schützen. Alle KI-Tools, die Sie nutzen, werden immer Fehler machen. Sie müssen sicherstellen, dass solche Fehler Sie keinen betrieblichen, kundenbezogenen oder regulatorischen Risiken aussetzen.
Zunächst einmal müssen Sie immer Menschen in den Prozess einbeziehen, die zumindest einen Teil der Inhalte prüfen, die die Tools zur Überprüfung markieren. Selbstverständlich müssen Ihre Prozesse zur Inhaltsprüfung effektiv und effizient sein. Ironischerweise gilt: Je mehr KI-Tools auf dem Markt verfügbar sind (z. B. zur Erstellung oder Moderation von Inhalten), desto mehr Menschen müssen Sie in manchen Fällen einbeziehen.
Zweitens müssen alle Prozesse und Vorgehensweisen zur Inhaltsmoderation so gestaltet sein, dass die Sicherheit und Bindung Ihrer Nutzer – und damit auch Ihr Geschäft – im Vordergrund stehen. Was passiert, wenn Fehler Ihrer Moderation Bedenken aufkommen lassen? Wie stellen Sie sicher, dass Ihre Nutzer bei Bedarf eine Stimme haben, um Ihre – oder die Entscheidungen Ihrer KI – zu korrigieren? Wie stellen Sie sicher, dass Ihre Moderatoren über alles verfügen, was sie benötigen, um die besten Moderationsentscheidungen so effizient und effektiv wie möglich zu treffen? Die Bewältigung dieser und anderer Komplexitäten erfordert, dass Sie Ihre Prozesse sorgfältig durchdenken und effektiv automatisieren, beispielsweise mithilfe von Tools wie der Content-Moderationsplattform von Tremau.
Schließlich wird 2024 das Jahr sein, in dem Sie sich besonders intensiv darum bemühen müssen, nicht zu den Unternehmen zu gehören, gegen die die Aufsichtsbehörden Bußgelder verhängen. Der EU-Gesetzentwurf über digitale Dienste (Digital Services Act) wird für alle in Europa tätigen Online-Plattformen in Kraft treten. Er verpflichtet Sie dazu, Ihre Prozesse neu zu gestalten und Berichte – wie beispielsweise Transparenzberichte – vorzulegen; andernfalls drohen Ihnen Bußgelder. Selbstverständlich ist die Einhaltung der Vorschriften unerlässlich, unabhängig davon, ob Ihre Plattform von KI betroffen ist oder diese nutzt.
Wie können wir Ihnen helfen? Bei Checkfor.ai und Tremau möchten wir Ihnen dabei helfen, sich in der neuen Welt leistungsstarker KI und neuer Vorschriften bestmöglich zurechtzufinden.
Wenn Sie mehr erfahren möchten, kontaktieren Sie uns unter info@tremau.com und info@pangram.com.
Theodoros Evgeniou ist Mitbegründer und Chief Innovation Officer von Tremau, Professor am INSEAD, Mitglied des OECD-Expertennetzwerks für KI, Berater des BCG Henderson Institute und war als akademischer Partner für KI beim Weltwirtschaftsforum tätig. Er verfügt über vier Abschlüsse vom MIT, darunter einen Doktortitel im Bereich KI.
Max Spero ist Mitbegründer und CEO von Pangram Labs. Zuvor war er als Softwareentwickler bei Google und Nuro tätig, wo er Datenpipelines aufbaute und Modelle für maschinelles Lernen trainierte. Er hat einen Bachelor- und einen Master-Abschluss in Informatik von der Stanford University.
Dieser Artikel wurde im Januar 2024 gemeinsam mit Tremau veröffentlicht.

Max ist ein erfahrener Machine-Learning-Ingenieur. Zuletzt arbeitete er bei Nuro an autonomen Fahrzeugen und leitete dort den Bereich „Active Learning“. Er kann auf eine langjährige Erfahrung bei der erfolgreichen Einführung von Machine-Learning-Produkten bei Google, Two Sigma und Yelp zurückblicken.
Max hat einen Bachelor of Science in Theoretischer Informatik und einen Master of Science in Künstlicher Intelligenz von der Stanford University. Neben seiner Leidenschaft für das Bauen ist er auch ein aktives Mitglied der „Magic: The Gathering“-Cube-Community.






