AIによるレビューを見分ける方法

写真：リサ・フォティオス

私が最もよく聞かれる質問は、「どうやってAIが生成した文章を見分けることができるのか？」というものです。何しろ、ChatGPTはそれほど高性能ですから。そして、手がかりがページ上の言葉だけだとしたら、その出所をどうやって推測すればいいのでしょうか？ まあ、よく言われるように、「文体は人そのもの」なのです。

ブランドン・サンダーソンの作品をじっくり読めば、文脈から切り離された一節を見ただけでも、彼の文章だと見分けられるようになるだろう。中学生の作文を採点し続ければ、7年生と9年生の違いも区別できるようになる。そして、私たちは幸運だ。なぜなら、ChatGPTはこれらどちらよりも特徴が際立っているだけでなく、参考にする事例もはるかに豊富にあるからだ。

まずは簡単な例から見てみましょう。こちらがGoogleマップ上のレビューです：

ポーチ・キャンポリー・フィールドはスカウトたちの心に特別な場所として刻まれており、この素晴らしいスカウト活動拠点の素晴らしさをいくら語っても語り尽くせません。そこはまさにスカウトの楽園であり、そこで過ごした体験にはこれ以上ないほど満足しています。

キャンプ場自体は設備が非常に充実しており、広々としたキャンプスペースや様々なアクティビティエリア、手入れの行き届いた施設が整っています。美しい自然環境に囲まれたこの場所は、スカウトたちが自然と触れ合い、アウトドアの基礎スキルを学ぶのに最適な場所です。静かで落ち着いた雰囲気は、スカウトと指導者の間に親睦を深めるのに役立っています。

ポーチ・キャンポリー・フィールドでは、多彩なアクティビティや技能向上の機会が用意されています。オリエンテーリング、パイオニアリング、あるいはメリットバッジのワークショップなど、いつでも魅力的な活動に参加できます。プログラムは綿密に企画されており、スタッフは知識が豊富であるだけでなく、スカウト運動に深く情熱を注いでいます。

ポーチ・キャンポリー・フィールドのコミュニティ意識と伝統は実に素晴らしいものです。ここではスカウト精神が今も健在であり、多くの若いスカウトたちが集い、学び、成長し、楽しんでいる姿を見るのは、本当に心を打たれるものです。安全で思い出に残る体験を提供するために尽力するスタッフやボランティアの方々の献身的な姿勢は、大いに称賛に値します。

ポーチ・キャンポリー・フィールドは、静かで人里離れた環境でありながら、アクセスも良好という理想的なロケーションにあります。各部隊が集い、絆を深め、いつまでも思い出に残る体験を共有するのに最適な場所です。

要するに、ポーチ・キャンポリー・フィールドは、スカウトの夢が叶う場所です。充実した設備、魅力的なプログラム、そして強いスカウトの絆が息づくこの場所は、あらゆる年齢のスカウトにとってかけがえのない宝物です。私は、この素晴らしいスカウトの聖地に戻り、自分の隊の仲間たちと共に、これからも思い出とスキルを積み重ねていくことを楽しみにしています。スカウトの誓い！

このレビューを読んで、まず何に気づきますか？ まず、平均的なレビューよりもはるかに長いことです。また、平均的なレビューよりも形容詞や副詞が圧倒的に多く使われています。それだけでなく、こうした表現のほとんどは、単に「素晴らしい」「極めて」「美しい」「完璧」「思いやりがある」といった、ありきたりな肯定表現に過ぎず、具体的な内容に乏しいのです。 「いくら称賛しても足りないほど」や「これ以上ないほど満足している」といった決まり文句も数多く見受けられます。

もう一つ注意すべき点は、ChatGPTはしばしばプロンプトの内容を繰り返す傾向があるということです。レビューの最初の文にその場所の正式名称が含まれていることに注目してください。普通の人なら、読者が現在閲覧しているページからすでに文脈を把握していることを理解していますが、ChatGPTは回答がプロンプトに完全に沿っていることを確実にしようとするのです。

AIが生成した文章を見分ける最大のヒントの一つは、その構成が非常に整然としている点です。このレビューを見てください。導入部があり、その後、レビューの各項目ごとに1段落ずつ続き、最後に結論が書かれていますね。これは非常に一般的なパターンで、至る所で見られます。一方、人間が書く文章は、段落や文の構成がもっと多様です。

それでは、これらの知見を別の分野に応用してみましょう。AmazonにはChatGPTによるレビューが溢れています。売れ筋商品をいくつか見てみると、そのレビュー欄にはAIによる投稿が溢れていることがわかるでしょう。

Amazonにある同じ商品のレビューを2つ見て、先ほどと同じ基準で評価してみましょう。

例1- 水筒に関するAmazonのレビュー。

これが今年一番のお気に入りの水筒です！気に入っている点は、ちびちび飲むことも、一気に飲むこともできるところです。

内蔵ストローにはとても満足しています。ストローから飲みやすいんです。これまで内蔵ストロー付きのボトルを何本も使ってきた私から言わせれば、このOwallaのボトルは2023年最高の製品です。

もう一つの素晴らしい点は、口を開けたまま飲めることです。これもまた実に巧妙な設計で、ぐいっと飲み干すときでも、顔に水がかかったり、鼻に入ったりする心配が全くありません。

保温性は平均的です。飲み物を冷たく保つという役割はしっかり果たしてくれます。今年はカリフォルニアで信じられないほど暑い日が続いているので、水にいつもより多めの氷を入れています。それでも、このボトルなら一晩中冷たさを保ってくれます。

欠点もあります。重さが気に入らないんです。今まで使ってきた他の保温ボトルよりも重いです。それに、キャップを閉めるのにかなり強く押す必要があります。これは、Owalaがバージョン2.0で改善すべき点だと思います。

全体的に、このボトルにはとても満足しています。今ではタケヤのボトルに代わって、毎日愛用しています。デザインがとても気に入ったので、（より軽量な）スポーツバージョンも購入しました！キャップのデザインは改善の余地があると思いますが、次期モデルでは改良されることを期待しています。

1. ロング- うん
2. 空の記述子- たった一つ（本当に）
3. 決まり文句- なし
4. プロンプトを繰り返します― いいえ、「水筒」だけです。
5. 文章の構成は非常に整っている――導入部、箇条書き、結論は揃っているが、「デメリット」の段落は形式が統一されておらず、少し場違いな印象を受ける

全体として、この尺度で1.5点（5点満点中）と評価します。「long」という単語が使われているだけでは、AIが書いたと断定するには不十分な根拠です。これは人間が書いたものである可能性が極めて高いでしょう。

例2- 同じ水筒に関するAmazonのレビュー。

先日、Owalaの24オンス（約700ml）保温ボトルを購入しましたが、すぐに一日中水分補給をするための定番アイテムになりました。まず目を引いたのはそのデザインで、洗練されたモダンなスタイルに加え、鮮やかなカラーバリエーションが揃っています。ボトルは丈夫でありながら軽量で、日常使いに最適です。

機能面では、期待を裏切りません。漏れ防止機能と断熱機能を備えているため、どんなに暑い日でも飲み物が何時間も冷たいままです。内蔵のストローのおかげで、キャップを回したりボトルを傾けたりする手間なく、移動中でも手軽に飲むことができるのは画期的です。

私が最も気に入っているのは、細部へのこだわりです。ストローには汚れを防ぐカバーが付いており、ボトルはほとんどの車のカップホルダーやリュックのサイドポケットにすっぽり収まるため、持ち運びに非常に便利です。さらに、ループ状のハンドルは持ち運びやバッグへの取り付けに最適です。

お手入れはとっても簡単。これは再利用可能なボトルでは常に気になる点ですよね。口が広いためボトルブラシが入りやすく、ストローの部品は分解できるので、隅々までしっかり洗えます。

要するに、オワラボトルは、利便性とスタイリッシュさを兼ね備えた、考え抜かれたデザインの製品です。手間をかけずに水分摂取量を増やしたいと考えている人にとって、頼りになる相棒となるでしょう。ぜひお勧めします！

1. ロング- うん
2. 空のディスクリプター- 洗練された、モダンな、驚くほど、細部までこだわった
3. 決まり文句――「最初に印象に残ったのは」、「ゲームチェンジャー」、「期待を裏切らない」、「余計な手間なしに」
4. プロンプトを繰り返します- はい、製品名「Owala 24オンス 保温ボトル」です
5. 構成のしっかりした文章― はい、導入部、3つの要点、そしてまとめが含まれています。

AI特有の兆候が5つすべて当てはまっているようです。ほぼ間違いなくAIが書いたものだと思います。

社内の「モデル」が汎用化されたのは素晴らしいですね！これらの点はいずれも単独では決定的な証拠とは言えませんが、すべての兆候が同じ方向を指し示しているなら、それらを総合して独自の結論を導き出すことができます。皆さんのご意見をお聞かせください！Twitter（@max_spero_）か、メール（max [at] pangram.com）までご連絡ください。