QuoraがAI生成回答を処理するためにパングラムを活用する方法

2024年4月、Pangram LabsはQuoraと提携し、ChatGPTを利用して投稿に不自然なAI生成の回答を返信するスパマー対策を支援した。

Quoraは世界最大級のウェブサイトの一つであり、2024年8月時点で世界第33位のトラフィック量を誇り、月間10億ページビュー以上を記録しています（出典：Semrush）。Quoraではユーザーが質問を投稿でき、サイト閲覧中の他のユーザーがその質問を閲覧し回答します。

私たちの使命は、世界の知識を共有し、成長させることです。私たちの大きな信念は、多くの知識が人々の頭の中に閉じ込められており、適切な質問を適切な人に結びつけることで、その知識を引き出せるということです。

レクシー・ウー、Quoraにおけるモデレーションを統括するグループプロダクトマネージャー

AIの回答の問題点は何ですか？

AIが作成した回答の一例

生成AIにより、スパマーはわずかな労力で本物そっくりの回答を数百から数千も生成できる。AIの回答は依然として正味ではプラスだと主張する者もいる。ユーザーは低～中程度の品質ではあるが、方向性としては正しい回答を得られる。全く回答がないよりはましだろう？

真空状態ならともかく――クオラにAIの回答が存在することには、いくつかの望ましくない影響がある。

1. 質問が既に回答されている場合、他者が自ら回答を書く手間をかけることを躊躇させる。したがって、たとえ質問がAIによるまずまずの回答を得ていたとしても、そのAI回答によって誰かが自身の現実世界の経験を共有する可能性は低くなる。
2. AIが本物の投稿を押し出している。多くのプラットフォームと同様に、閲覧数とエンゲージメントはゼロサムゲームだ。ユーザーがフィードやダイジェストでAIコンテンツを見るたびに、他の本物のクリエイターが本来得られるべきエンゲージメントを逃している。
3. 評判リスク。人々は、読んでいる回答がAIによって書かれたものであることを見抜くことができます。これにより疑問が生じます：AIの回答を読むだけなら、そもそもなぜQuoraを訪れる必要があるのか？ChatGPTを利用すればよいのではないか？QuoraはChatGPTとは異なる価値提案——実在の人物による本物の回答——を提供し、この価値が維持されるようプラットフォームを管理しています。

なぜパングラムを使うのか？

人間の目では、AIが書いたものかどうか見分けるのが難しい場合もある。また、単に時間がかかる作業であり、モデレーターがしばらく注意深く読み込んでから確信を持てる場合もある。このプロセスを自動化することで、本来ならコストのかかるモデレーション作業が不要になり、長期的には時間と費用を節約できる。

GPT-2のAI検出問題を解決しようとするオープンソースソリューションがいくつか存在するものの、最も一般的に使用される大規模言語モデル（LLM）であるGPT-4に対しては、どのソリューションも十分に機能しなかった。Quoraのようなプラットフォームは、GPT-4のような高度なモデルの出力すら分類できるソリューションを求めている。理想的には、新たな最先端レベルの言語モデルが数か月ごとにリリースされるため、新しいLLMに対しても継続的に機能するソリューションが求められる。

パングラムは、堅牢な評価とGPTZeroなどの競合他社を100倍以上上回る精度を誇り、2024年4月時点でGPT-4による生成コンテンツを確実に検出できる数少ない選択肢の一つであり、現在も圧倒的な差で最も正確なAI検出モデルである。

さらに、Pangramのデータパイプラインには将来のLLMリリースに対する堅牢性が組み込まれています。LLMが利用可能になってから24時間以内に合成トレーニングデータを生成し、新たなモデルをトレーニングすることが可能です。2024年7月、Pangramは対応言語を20言語以上に拡大し、顧客向けの高精度を確保するためモデリングの改善を継続しています。

影響

2024年9月現在、Quoraは100万件以上のAI生成投稿を特定し、サイト全体のコンテンツ品質を向上させるとともに、信頼できる情報源としての評判を維持している。

パングラムは、信頼と安全チームにとっての戦力増強ツールとしての役割を継続し、AIコンテンツに関するポリシーを自信を持って設定するために必要なツールを提供しています。

AI検出の活用事例をお持ちですか？info@pangram.com までお問い合わせください！