AIによる文章を見分ける方法

ChatGPTはほんの数秒で2000語もの拙い文章を書き上げる

ChatGPTやその他の大規模言語モデル（LLM）は、総称して「AI」と呼ばれ、ますます普及しているツールとなっています。その最も一般的な用途はアシスタントとしてであり、ユーザーは言語モデルと直接チャットすることができます。しかし、LLMは「スロープ（slop）」と呼ばれる、望ましくない、あるいは手抜きで作られたAIコンテンツを作成するために利用されるケースが増えています。 AIスロープの例としては、検索トラフィックを増やす目的でChatGPTが完全に作成し、インターネット上に投稿されたブログ記事が挙げられます。また、AIを利用して長文の絶賛レビューを多数作成し、自社の評価を上げようとする企業も、AIスロープの一例です。

Pangram Labsは、AI生成テキストを分類するための高精度な機械学習モデルを訓練しました。訓練の終了時点で、このモデルは人間が書いたテキストとAI生成テキストの例を数億件学習しています。この記事は、できれば少ない例でAI生成テキストを見分けるための独自の直感を養うのに役立つでしょう。

私は、教育関係者、入試担当カウンセラー、出版社関係者らと話をしましたが、彼らも皆、AIの利用が急増したことを受け、この1年でこのスキルを習得せざるを得ない状況に追い込まれました。この記事は、彼らから得た情報と、Pangram社内で新入社員を戦力化するために用いている手法をまとめたものです。何と言っても、その業務内容自体に精通していなければ、優れた機械学習モデルを構築することはできないからです。

要約

• AIによく使われるフレーズを探してみてください。
• ChatGPTに、検出しようとしている種類のドキュメントを複数生成してもらい、類似点を探してみてください。
• AIによる文章を人間が書いたものと見分けがつかないように書いてみて、不自然な点がないか探してみてください。
• 盗用チェックツールを使って、自分の直感を磨きましょう。

文章の構成要素

トピック

一般的に、AIは自らトピックを選ぶことはなく、特定のテーマについて書くよう指示されます。それでも、AIは自ら選んだサブトピックに対して偏りを見せる傾向があります。 例えば、ChatGPTに『白鯨』の象徴性についてエッセイを書くよう指示した場合、おそらく最も明白なトピックのセットを同じように選ぶでしょう。しかし、学生なら誰でも、その本にある特定の象徴性について具体的に書くようChatGPTに指示することができ、ChatGPTはそれについて書くことができます。そのため、テキストがAIによるものかどうかを評価する際、私はトピックについてあまり深く考慮しません。

構成

AIに文書全体を作成するよう依頼すると、通常、デフォルトで特定の構成に従って作成されます。 ブログ記事の作成を依頼すると、導入部、3～4段落、箇条書き、そして記事を要約する結論という構成で書き始めます。同様に、レストランのレビューを書いてほしいと頼むと、多くの場合、「先日、○○で食事をする機会がありました」という書き出しから始まり、料理、雰囲気、サービスについて触れ、最後に「強くお勧めします」という熱意あふれる言葉で締めくくります。 このデフォルトの構成はプロンプトで変更することも可能です（「20段落のブログ記事を書いて」「レビューは短く、店名は書かないで」など）。しかし、多くのプロンプターはそこまでの手間をかけたがらないのが実情です。文章の構成が他のAI生成文と似ている場合、それは「もっと深く掘り下げるべき」という強力な初期のサインとなります。

スタイル

ポーカーにおいて、「テル（tell）」とは、ブラフをしている際に無意識のうちに漏らしてしまう合図のことを指します。例えば、緊張していると眼鏡をいじり回したりして、自分の賭けに関する情報を漏らしてしまうことがあります。同様に、Pangramでは特定の単語やフレーズを「AIテル」と呼んでいます。これらはChatGPTやその他の言語モデルが異常に好んで使用する単語やフレーズであり、一度気づき始めれば、それがAIによる生成であることを示す非常に強力な手がかりとなります。

「Delve」はAI特有の表現の極端な例と言えます。なぜなら、ChatGPTは通常のアメリカ英語よりもはるかに頻繁にこの言葉を使用するからです。

また、レストランのレビューでは「最近、幸運にも」という表現がよく使われることに気づきましたし、ChatGPTにカバーレターの作成を依頼すると、必ず「熱心な」という言葉を挿入してきます。たとえ詳細な指示を与えたとしても、LLMは内部的な文体の傾向に強く左右されます。そのため、文体は私が特に重視する重要な指標となっています。

以下は、AIとの会話のきっかけとして使える一般的なフレーズのリストです。（出典：reddit、aiphrasefinder.com）

• 「重要な点として」
• 「深く掘り下げる」
• 「タペストリー」
• 「活気あふれる」
• 「活気あふれる」
• 「まとめると」または「結論として」
• 「そのことを忘れないで……」
• 「ぜひ体験してみてください」
• 「ナビゲートする」、すなわち「状況を把握する」「複雑な状況を切り抜ける」
• 「ランドスケープ」、すなわち「……のランドスケープ」、特に「絶えず変化し続けるランドスケープ」
• 「Testament」すなわち「～の証し」
• 「～の世界では」
• 「レルム」
• 「出航」
• 「シンフォニー」
• 「抱擁」
• 「あなたがXであれYであれ」
• 「～といえば」

直感を高めるテクニック

フレーズは良い目安になりますが、AIが生成するテキストの中には、明らかにAIが書いたものだとわかるものの、これらのフレーズを一切使っていないものもあります。このスキルを向上させるには、実際にAIの文章をじっくりと分析する時間をかける必要があります。

AIライティングを学ぶ

人によっては不快に感じるかもしれませんが、他の人にとっては刺激的かもしれません。しかし、AIを見分けたいのであれば、AIが書いた文章がどのようなものかを知っておく必要があります。見分けたい特定の種類の文章があるとなお良いでしょう。 例えば、AIが作成したメールを見分けるスキルを磨きたいとしましょう。まず最初にすべきことは、ChatGPTに「初対面の紹介メール」「お礼のメール」「マーケティングメール」を書いてもらうことです。プロンプトを変えながらこれを数回繰り返し、その都度、各結果の共通点を書き出していきます。次に、ClaudeやGeminiでも試してみて、引き続きパターンを探します。

件名：OpenAIとの協業の可能性について

[創業者名] 様、

お元気でお過ごしのことと存じます。私は[お名前]と申します。[所属先]の[役職]を務めており、当組織では[ご自身の専門分野や強みを簡潔に説明]を専門としています。OpenAIによる人工知能分野における画期的な進歩を注目してまいりましたが、倫理的なAI開発への取り組みや、各プロジェクトがもたらす変革的な影響に深く感銘を受けております。

この度、両組織間の協業の可能性について検討させていただきたく、ご連絡いたしました。OpenAIのAI技術と、貴社の[貴社の専門分野または技術]におけるノウハウを組み合わせることで、この分野をさらに発展させ、大きな価値を生み出す革新的なソリューションが生まれると確信しております。

この件についてさらに話し合い、共通の目標に向けて協力できる方法を模索できれば幸いです。ご都合のよい時に、簡単な電話や面談の時間を設けていただけないでしょうか？私は時間の調整に柔軟に対応できますので、ご都合に合わせて調整させていただきます。

この機会をご検討いただき、ありがとうございます。OpenAIにおけるエキサイティングな発展に貢献できるよう、共に働けることを楽しみにしています。

どうぞよろしくお願いいたします。

[氏名]

[あなたの役職]

[貴社／貴団体]

[連絡先]

[LinkedInプロフィールまたはウェブサイト]（任意）

対戦ゲームをプレイする

Pangram Labsを立ち上げた当初、私たちは「ヒューマン・ベースライン」と呼ぶ実験を数多く行いました。ルールは単純です。まずトピックを選びます。最初のヒューマン・ベースラインは入学エッセイでした。Aさんが人間が書いた大学入学エッセイを5つ用意します。次に、AさんはChatGPTやその他のLLMを使って、AIが書いたエッセイを5つ作成します。それらを混ぜ合わせ、10本のエッセイをBさんへのテストとして提示し、BさんにどれがAIによるものかを分類してもらいます。 B氏はテストに取り組み、その判断理由を説明できます。これにより、これらのエッセイがどれほど見分けやすいかという基準が確立され、ヒューリスティクスの開発に役立ちます。

さらに一歩踏み込んで、Bさんはその知見を活用して、より難易度の高い人間の基準を作成することができます。具体的には、LLMへの入力情報を増やすか、あるいは「人間らしい」と一目でわかるような表現を避けるよう指示するのです。こうした試行錯誤を繰り返すことで、直感をさらに磨くことができるだけでなく、AIが繰り返し用いてしまう決まり文句が何かを把握するのにも役立ちます。

人間の基準例として、以下の2つのレビューをご覧ください。1つはYelpからのもの、もう1つはGPT-4によるものです。

もし分かりにくい場合は、最初の例がAIによるもので、2つ目が人間によるものです。トピック（ブルックリンの「Textbook Cafe」）と構成（1段落）の両方を指定しましたが、ChatGPTの文体が非常に特徴的であるため、それでも一目でAIによるものだと分かります。ぜひ自分で作ってみて、友人と共有してみてください！

AI検出用に開発されたツールを活用する

Pangram Labsは、AIと人間が作成したコンテンツを最も正確に見分けるため、数億件もの文書から学習した機械学習モデルのトレーニングに膨大な時間を費やしてきました。そこで、ここで少し自社のサービスをアピールさせてください。 当社のダッシュボードでは、テキストを貼り付けたり文書をアップロードしたりすることができます。もし判断に迷い、直感以上の具体的な根拠を求めているなら、このツールが分類結果と信頼度スコアを提供します。また、ダッシュボードには、分類においてどの単語やフレーズが最も決定的な手がかりとなったかを示す詳細な分析機能も備わっています。私自身、インターネット上で何か不審な点を見つけた際には常にこのツールを利用しています。皆様にとっても役立つことを願っています。

ご質問やご意見はありますか？　AIによるひどいミスを発見して、共有したいですか？　Twitter/Xの@max_spero_ までご連絡ください。

自分の直感を試してみませんか？PangramのAI検出ツールを使えば、どんなテキストでもAI生成コンテンツかどうかをスキャンできます。