Yelpのレビューを徹底分析

注： 社名を「Pangram Labs」に変更しました！詳細はブログ記事をご覧ください。

Checkfor.aiでは、低品質なAI生成コンテンツによるインターネット上の「汚染」を防ぐという使命を果たすため、業界最高水準のAIテキスト検出ツールとなるよう努めています。その防衛において最も重要な分野の一つが、ユーザーレビュープラットフォームです。

ネット上の偽レビューは、結局のところ企業と消費者の双方に損害を与えるものであり、ChatGPTの登場により、大規模なレビュー詐欺がさらに容易に行えるようになってしまった。

Yelpに掲載されたChatGPTによるレビュー

オンラインレビューに対するユーザーの信頼を維持することは、オンライン上のユーザー生成コンテンツの信頼性を守るというCheckfor.aiの使命において重要な役割を担っています。

自己紹介

私の名前はブラッドリー・エミです。Checkfor.aiのCTOを務めています。これまでに、スタンフォード大学でAI研究者として従事し、テスラのオートパイロットチームではMLサイエンティストとして実運用モデルをリリースし、Absciでは大規模なニューラルネットワークを用いて創薬を行うプラットフォームを構築した研究チームを率いてきました。 自動運転車や創薬の分野において、99%の精度では到底十分とは言えません。99%の精度とは、100人の歩行者のうち1人が自動運転車に轢かれる可能性、あるいは100人の患者のうち1人が設計不良の薬による生命を脅かす副作用を経験する可能性があることを意味するからです。

AI生成テキストの検出が必ずしも生死にかかわる問題ではないとはいえ、Checkfor.aiでは、同等の品質基準を満たすモデルとソフトウェアシステムを設計したいと考えています。当社の検出システムは、言い換えや高度なプロンプトエンジニアリングといった敵対的攻撃、さらにはundetectable.aiのような検出回避ツールに対しても耐えうるものでなければなりません。 私たちは、この問題を真剣に解決しようとしています（単に「99%の精度」を達成するだけでは不十分です）。そのため、エンジニアリングチームにとって最優先事項の一つは、極めて堅牢な評価プラットフォームを開発することです。

評価の考え方：テストセットはユニットテストである

「ソフトウェア1.0」時代のサイバーセキュリティ企業であれば、ユニットテストを実施せずに製品をリリースすることは決してありません。一方、「ソフトウェア2.0」企業である私たちは、ユニットテストに相当する手法を必要としています。ただし、その対象は、数百万、あるいは数十億ものパラメータを持ち、確率的に振る舞う可能性があり、幅広いテールケースを網羅しつつ正しく動作しなければならない大規模なモデルである点が異なります。 「テストセットでの精度99%」を達成しただけで満足してはいけません。現実世界で遭遇するであろう種類の例を具体的にテストする評価が必要なのです。

優れたテストセットは、特定の疑問に答え、交絡変数の数を最小限に抑えるものである。

対象となるテスト問題とそれに対応するテストセットの例としては、次のようなものがあります：

• 当社のモデルはYelpのレビューに対してどの程度有効なのでしょうか？テストデータとして、実際のYelpレビュー1,000件と、AIが生成したYelpレビュー1,000件を用意しました。
• 私たちのモデルは、言い換えられたテキストに対してどの程度有効なのでしょうか？テストセットには、実際の学生によるエッセイ数百本、AIが作成したエッセイ数百本、そしてQuillBotやUndetectable.AIを使って言い換えられた、それらと全く同じエッセイが含まれています。

テストセット内のすべての要素を単に組み合わせ、その結果として数値を報告するだけではいけない理由はいくつかあります。

• 交絡変数が多すぎるため、テストが合格したのか不合格だったのかが、データの分布によるものなのか、それともモデルによるものなのかが分からない。
• 誰でも、テストセットに簡単な例題を大量に投入するだけで、精度の数値を人為的に水増しすることができる。
• テストセットがどのようにして偏りのない方法で作成されたのかについて、公開され再現可能な説明がなければ、誰かが単に、自分のモデルが成功し、ベースラインが失敗する例だけを選りすぐったのかどうかを判断することはできません。

だからこそ、こうしたベンチマーク研究は完全に的を外しているのです。それらは焦点が定まっておらず、モデルに実行させたい具体的な動作を検証していません。偏ったテストデータセットは、モデルが実世界の事例に直面したときではなく、最良の状態にあるときにのみ、その性能を誇示してしまうのです。

偏りのないYelpのベンチマーク

AIによるテキスト検出の実用例として、Yelp上のAI生成レビューの検出が挙げられます。Yelpはレビュープラットフォームの厳格な管理に力を入れており、2022年の「信頼と安全に関するレポート」を確認すれば、Yelpが不正なレビュー、報酬やインセンティブを受けたレビュー、その他不誠実なレビューとの闘いに深く注力していることが明らかです。

幸いなことに、Yelpも優れたオープンソースのデータセットを公開しています。私たちはこのデータセットから1000件のレビューを無作為に抽出したほか、最も広く利用されているLLMであるChatGPTを用いて1000件の合成レビューを生成しました。

重要な点として、ChatGPTによるレビューは、Kaggleのデータセットに含まれる実際のYelp掲載店舗を対象としていることが挙げられます。これにより、事業分布の違いといった細部に過学習して不正な結果を出すことを防ぐことができます。評価の際には、モデルが本物と偽物を区別するために、テキスト内の正しい特徴を実際に学習できたかどうかを検証します。

このデータセットを使って、どのAI検出モデルがChatGPTで生成されたレビューと本物のレビューを実際に見分けられるのかを検証します！

モデルの精度

最も単純な評価指標は精度です。つまり、各モデルがいくつの例を正しく分類できたかということです。

• Checkfor.ai：99.85%（1997/2000）
• Originality.AI：96.2%（1738/1806）（注：Originality.AIは、50語未満の文書については分類を行いません）。
• GPTZero: 90.8% (1815/2000)

99.85%と96%という差は、一見するとそれほど大きくないように思えるかもしれませんが、誤差率を考慮すれば、これらの数値をより適切に理解することができます。

Checkfor.aiの失敗率は666回に1回と予想されるのに対し、Originality.AIは26回に1回、GPTZeroは11回に1回と予想されています。つまり、当社のエラー率はOriginality.AIよりも25倍以上、GPTZeroよりも60倍以上低いことになります。

偽陽性と偽陰性

偽陽性（false positive）と偽陰性（false negative）を分析するには（機械学習の用語では、これと非常に似た統計量である「精度（precision）」と「再現率（recall）」が用いられます）、混同行列（confusion matrix）を確認すればよいでしょう。つまり、真陽性、偽陽性、真陰性、偽陰性の各割合はどの程度なのかを調べるのです。

Over all 2,000 examples, Checkfor.ai produces 0 false positives and 3 false negatives, exhibiting high precision and high recall. While admirably, GPTZero does not often predict false positives, with only 2 false positives, it comes at the expense of predicting 183 false negatives– an incredibly high false negative rate! We’d call this a model that exhibits high precision but low recall. Finally, Originality.AI predicts 60 false positives and 8 false negatives– and it refuses to predict a likelihood on short reviews (<50 words) — which are the hardest cases and most likely to be false positives. This high false positive rate means that this model is low precision, high recall.

AIによるテキスト検出においては、誤検知率の低さがより重要ですが（実際の人間がChatGPTから盗用したと誤って非難することは避けたいからです）、誤検知率の低さも同様に不可欠です。AI生成コンテンツの10～20％以上が検出漏れになるような事態は許されません。

モデルの信頼度

最終的には、テキストが人間によるものか、あるいはChatGPTによって生成されたものであるかが明確な場合、モデルが高い確信度を示すようにしたいと考えています。

Mitchellらによる優れた学術論文『DetectGPT』と同様の可視化手法に従い、3つのモデルすべてについて、AI生成レビューと実際のレビューの両方に対するモデル予測のヒストグラムをプロットした。3つのモデルはいずれも90%以上の精度を有しているため、各モデルの信頼度の特性を可視化するには、Y軸に対数スケールを適用するのが最も有効である。

このグラフでは、X軸はモデルが入力されたレビューをAI生成であると予測する確率を表しています。Y軸は、モデルが実際のテキスト（青の棒）またはAI生成テキスト（赤の棒）に対して、その特定の確率を予測する頻度を表しています。 単に「はい」か「いいえ」かという判断ではなく、こうした「ソフト」な予測を見ると、Checkfor.aiはGPTZeroやOriginality.AIのいずれよりも、明確な判定境界線を引く能力が高く、より確信度の高い予測を行っていることがわかります。

GPTZeroは、確率の範囲が0.4～0.6の例を過剰に予測する傾向があり、そのモードは0.5付近にあります。一方、Originality.AIの誤検知の問題は、ソフトな予測を検証するとさらに顕著になります。 多くの実際のレビューは、0.5という閾値を下回っていても、AI生成と判定されそうになるほど近い値を示しています。これにより、ユーザーはモデルがAI生成テキストを確実に予測できると信頼しにくくなります。なぜなら、レビューにわずかな変更を加えるだけで、攻撃者が検出閾値を下回るまでレビューを繰り返し編集することで、検出器を回避できてしまうからです。

一方、私たちのモデルは通常、非常に決断力があります。概して、確信を持って判断を下すことができます。深層学習や情報理論の知識をお持ちの読者の方には、真の分布と予測分布との間のクロスエントロピー／KLダイバージェンスが最小となることをお伝えしておきます。

実際のテキストを「本物」であると高い確信度で予測することには、明らかな価値があります（Twitterのこのユーモラスな図を参照）。この教育者は明らかに、AIの確率値を「AIによって書かれたテキストの割合」と誤解していましたが、検出器が実際のテキストが本当に本物であるかどうかについて確信を持てない場合、誤解を招く余地が残されてしまいます。

https://twitter.com/rustykitty_/status/1709316764868153537

Checkfor.aiが検出した3つのエラーのうち、残念ながら2つはかなりの確信度で判定されています。当社の検出システムは完璧ではありません。現在、このような確信度の高い誤判定を防ぐため、モデルの調整に積極的に取り組んでいます。

結論

本評価で使用した、本物のYelpレビューと偽のYelpレビューの両方のデータセットをオープンソース化します。これにより、将来のモデル開発者がこの重要なベンチマークを活用し、検出器の精度を検証できるようになります。

主なポイントは以下の通りです：

Checkfor.aiは、誤検知率（偽陽性率）と検知漏れ率（偽陰性率）の両方が低いという特徴があります。 Checkfor.aiは、本物のレビューとAI生成のレビューを、高い精度だけでなく、高い確信度をもって見分けることができます。 今後もこの種のブログ記事を公開していく予定であり、知見が深まるにつれて、当社のモデルに対する率直な評価を公開してまいります。どうぞご期待ください。皆様のご意見もお聞かせください！