QuoraがAI生成の回答を処理するためにパングラムをどのように活用しているか

2024年4月、Pangram LabsはQuoraと提携し、ChatGPTを利用して投稿に対して不自然なAI生成の回答を投稿するスパマーへの対策支援を行いました。

Quoraは世界最大級のウェブサイトの一つであり、2024年8月時点で世界第33位のトラフィック数を誇り、月間ページビュー数は10億回を超えています（出典：Semrush）。Quoraでは、ユーザーが質問を投稿でき、サイトを閲覧している他のユーザーがそれを見て回答することができます。

「私たちの使命は、世界の知識を共有し、広めていくことです。私たちが強く信じているのは、多くの知識が人々の頭の中に眠っているという事実であり、適切な質問を適切な人々に結びつけることで、その知識を引き出すことができるということです。」

Quoraでモデレーション部門を統括するグループプロダクトマネージャー、レクシー・ウー

AIによる回答にはどんな問題があるのでしょうか？

AIが作成した回答の例

生成AIを利用すれば、スパマーはわずかな労力で、本物そっくりの回答を数百、あるいは数千件も生成することが可能になります。AIによる回答は、それでも全体としてはプラスになると主張する人もいるでしょう。ユーザーは、質は低いか中程度であっても、方向性としては正しい回答を見ることができるからです。回答がまったくないよりはましですよね？

孤立した状況であれば、そうかもしれません――しかし、QuoraにAIによる回答が存在することには、いくつかの望ましくない影響があります。

1. 質問にすでに回答がある場合、他の人が時間をかけて独自の回答を書く意欲を削いでしまいます。そのため、たとえその質問に対してAIによるそこそこの回答があったとしても、そのAIの回答があることで、誰かが自分の実体験を共有しようとする可能性は低くなってしまいます。
2. AIは本物の投稿を押し出してしまう。多くのプラットフォームと同様、閲覧数やエンゲージメントはゼロサムゲームだ。ユーザーがフィードやダイジェストでAI生成コンテンツを目にするたびに、他の本物のクリエイターたちは、本来得られるはずだったエンゲージメントを逃していることになる。
3. 評判リスク。人々は、読んでいる回答がAIによって書かれたものであるかどうかを見抜くことができます。そこで疑問が生じます。もしAIによる回答を読むだけなら、そもそもなぜQuoraを訪れる必要があるのでしょうか？それなら、いっそChatGPTを利用すればよいのではないでしょうか？QuoraはChatGPTとは異なる価値提案――実在する人々による本物の回答――を掲げており、その価値が損なわれないよう、プラットフォームのコンテンツを厳選しています。

なぜパングラムを使うのか？

人間の目だけでは、その文章がAIによって書かれたものかどうかを見分けるのが難しい場合があります。また、モデレーターが確信を持てるようになるまで、しばらくの間注意深く読み込む必要があり、単に時間がかかる作業となることもあります。このプロセスを自動化することで、本来なら多大な労力を要するモデレーション業務の負担を軽減でき、長期的には時間とコストの節約につながります。

GPT-2のAI検出問題を解決することを目的としたオープンソースのソリューションはいくつか存在しますが、最も広く利用されている大規模言語モデル（LLM）であるGPT-4に対しては、どのソリューションも十分な効果を発揮しませんでした。Quoraのようなプラットフォームでは、GPT-4のような高度なモデルの出力さえも分類できるソリューションを求めています。理想を言えば、最先端の言語モデルが数か月おきにリリースされているため、新しいLLMに対しても継続して機能するソリューションが望まれます。

Pangramは、堅牢な評価結果と、GPTZeroなどの競合他社を100倍以上上回る精度を誇り、2024年4月時点ではGPT-4で生成されたコンテンツを確実に検出できる数少ない選択肢の一つでした。そして現在も、他を圧倒する精度を誇るAI検出モデルとして君臨しています。

さらに、Pangramのデータパイプラインには、将来のLLMリリースに対応するための堅牢性が組み込まれています。LLMが公開されてから24時間以内に、合成トレーニングデータを生成し、新しいモデルを学習させることが可能です。2024年7月、Pangramは対応言語を20言語以上に拡大し、顧客に高い精度を提供できるよう、モデルの改良を続けています。

影響

2024年9月現在、Quoraは100万件以上のAI生成投稿を特定しており、サイト全体のコンテンツ品質を向上させるとともに、信頼性の高い情報源としての評判を維持しています。

Pangramは、Trust & Safetyチームにとって引き続き戦力の倍増要因として機能し、AIコンテンツに関するポリシーを自信を持って策定するために必要なツールを提供しています。

AI検知の活用事例をお持ちですか？info@pangram.comまでご連絡ください！