AIが残す痕跡をどのように測定するか。
お気づきの方も多いでしょう。「delve」という単語。あちこちに散りばめられた長ダッシュ。違和感のある絵文字、あるいは不自然な場所での複雑な書式設定。あるいは、具体的に何が原因か特定できないものの、ある文書からは「AIが書いた」という匂いが漂ってくるのです。
おそらくその通りでしょう。研究によると、人は自分の直感を鍛えることで、AIが書いた文章を目視で判別できるようになることが分かっています。しかし、その作業は手間がかかり、混乱を招きやすく、他人に説明するのも難しい場合があります。
「Supporting Evidence」は、AIの「兆候」を明らかにするためのツール群です。数百万件に及ぶ人間とAIが作成した文書からなるコーパスに対し、証拠に基づいた特徴抽出を行うことで、AIの出力に共通して見られる9つのパターンを特定しました。
単一の証拠だけでは決定的な証拠にはなりません。テキストに特定のAI特有のフレーズや絵文字が含まれているからといって、それがAIによって書かれたとは限らないのです。
Pangramの主力検出モデルは、文書を包括的に分析し、特定のテキストに関する数百万ものシグナルを統合するディープラーニングベースの検出器を採用しています。抽出された裏付けとなる証拠は、当社のモデルの入力として使用されるものではありません。
十分な証拠が揃えば、パングラムのAI予測について、皆様により深い理解と明確さ、そして確信を持っていただけるよう願っています。ここでは、AIが生成したテキストにおいて、人間のテキストよりも出現頻度が高い順に、当社が追跡している9つのパターンを詳しく解説します。
| シグナル | 例 | 人間1万語あたり | AI1万語あたり | 乗数 |
|---|---|---|---|---|
| マークダウン | **アミラーゼ**裏付けとなる証拠マークダウンプレーンテキストの文脈に挿入されたMarkdown形式 | 8 | 90 | 12× |
| AIのフレーズ | 45x深く掘り下げる裏付けとなる証拠AIフレーズAIが生成したテキストにおいてはるかに頻繁に見られる単語のパターン | 3 | 30 | 12× |
| 長横線 | 裏付けとなる証拠長ダッシュ人間が書く場合には通常使わないような場所で、長ダッシュを多用すること | 2 | 17 | 10× |
| 箇条書き | - 唾液腺裏付けとなる証拠箇条書き情報を体系的に整理するために使用される構造化リスト | 3 | 28 | 9× |
| 三合会 | トライアド1過去、 2現在 および 3未来裏付けとなる証拠三合会アイデアを3つずつまとめること――AIによく見られる修辞的パターン | 5 | 19 | 4× |
| 「XだけでなくYも」 | ただ生き延びるだけじゃない ただ生き延びるだけでなく裏付けとなる証拠コントラストパターンAIによる文章作成では、「AだけでなくBも」という構文がよく見られる | 1 | 3 | 3× |
| 珍しいUnicode | ≈裏付けとなる証拠Unicode人間による改変の痕跡を示す可能性のある、通常とは異なるUnicode文字 | 28 | 71 | 3× |
| AI風の見出し | もちろんです!こちらです裏付けとなる証拠AIヘッダーAIの出力によく見られる、過剰に親切な見出しや導入文 | 1 | 2 | 2× |
| 絵文字 | 🚀裏付けとなる証拠絵文字通常なら人間が書く場合、挿入しないような場所に絵文字が挿入されている | 0.1 | 0.2 | 2× |
マークダウンとは、書式を文字としてエンコードする方法です。これにより、**太字**、## 見出し、```インラインコード```、*斜体* といった表示が可能になります。大規模言語モデルは、項目を強調したり特定のフレーズに注目を集めたりするために、凝った視覚表現を用いることがよくあります。一方、Google ドキュメントやメールクライアント、フォーラムの投稿欄などで入力を行う一般ユーザーは、そうした表現を使うことはほとんどありません。
人間とAIでは、さまざまなマークダウン記号の使用頻度に違いがあります。
| バリエーション | 人間 / 1万 | AI / 1万 | 乗数 |
|---|---|---|---|
| 太字(**テキスト**) | 2 | 65 | 43× |
| 見出し(#) | 0.5 | 11 | 23× |
| インラインコード | 0.2 | 0.8 | 5× |
| 斜体 | 5 | 13 | 2× |
「AIフレーズ」は、当初の根拠となる証拠でした。AIが特定の単語やフレーズを多用する傾向にあることは、一見してわかることもあります。しかし、詳しく調べてみると、AIが統計的に有意なレベルで多用しているフレーズが何千もの数に上ることがわかります。ここでは、そうしたフレーズを取り上げます。
これらはどれも、人間が書いた文章よりもAIが生成した文章の中で、はるかに頻繁に現れます。モデルによって好みが異なるため、モデルファミリーごとにリストを管理しています。
長ダッシュは、文の区切りを示す、強調を加える、あるいはより劇的な表現のために他の句読点に代わるなど、正当な句読点の一種です。一見して理由は明らかではありませんが、AIは人間に比べて10倍の頻度で長ダッシュを使用しています。
人間は1万語あたり平均5つの長ダッシュを使用します。ほとんどのモデルファミリーはその7倍から9倍を使用していますが、Gemini 3 Proは人間のライターよりも少ない長ダッシュを使用しています。
| モデルファミリー | 1万単位あたり | 乗数 |
|---|---|---|
| ヒトの基準値 | 5 | 1× |
| OpenAI | 45 | 9× |
| オープンソース | 37 | 8× |
| アンソロピック | 32 | 7× |
| Google(Gemini 3 Pro) | 3 | 0.7× |
ある説によると、AIによるダッシュ(—)の過剰使用は、LLM(大規模言語モデル)が最初に普及した後の2024年に急増した。このことから、その背景には、企業がいわゆる「ドキュメントパーサー」と呼ばれる基盤モデルを用いて書籍やその他の長文の印刷物をスキャンし、学習させていることが関係しているのではないかと推測する声もある。
人間なら「リンゴ、オレンジ、バナナ」と書くところを、モデルは改行とダッシュを使う傾向があります。これは主に、会話形式のチャットインターフェースでテキストを整理しやすくするためです。これは間違いというわけではなく、あくまで構造上の癖のようなものです。モデルは人間よりも約9倍の頻度でこれらを生成しますが、文章としてより自然に読める文脈でも、しばしばこのような表現が使われてしまいます。
一方、人間なら次のように書くかもしれない。「アミラーゼは唾液腺と膵臓で生成され、そこから小腸へと放出されてデンプンを分解する。」
「3つの要素からなる表現」は、何世紀にもわたって存在してきた言語的パターンです。「血と汗と涙」、「過去・現在・未来」、さらには「リデュース、リユース、リサイクル!」など、多くの3つの要素からなる表現が私たちの共通語彙として定着しています。しかし、AIはこのパターンを、人間が自然に感じる範囲を超えてさらに推し進めており、人間よりも約4倍の頻度でこれらを使用しています。
「単にXだけでなく、Yも」という表現は、AIに見られる最も不可解なパターンの一つであり、極めて一般的な定型句です。AIは、ある事柄が単なる一つのものだけではなく、全く別のものだと主張するのが大好きです!AIは、この定型句に当てはまる表現を、人間よりも3倍も頻繁に使用します。
「珍しいユニコード文字」とは、どのキーボードにも搭載されていない文字のことです。装飾用のダッシュ、数学演算子、矢印のグリフ、枠線描画用文字、あるいはUIスタイルのマーカーなどがこれにあたります。これらは人間の書いたテキストに現れることもありますが、ごくまれです。さらに、本来は関連性のないテキストの中でこうした珍しいユニコード文字が使われている場合、人間による改ざんの試みを示唆していることがあります。
| Char | コードポイント | 名前 | 乗数 |
|---|---|---|---|
| ─ | U+2500 | 箱の図面 ライト 水平 | 940× |
| ≈ | U+2248 | ほぼ等しい | 241× |
| ⚠ | U+26A0 | 警告標識 | 57× |
| → | U+2192 | 右矢印 | 48× |
「もちろんです!こちらです…」 「はい!こちらです…」 「喜んでお手伝いします…」 こうした陽気なチャットボットの冒頭フレーズは、モデルがプロンプトに応答するよう訓練された結果生じるものです。これらはテキストがAIによって生成されたことを露骨に示すものですが、より洗練された作成者は通常、こうした表現を削除します。
これは、モデルがプロンプトに応答するように訓練される仕組みによる副産物です。
| フレーズ | 人間 / 1万 | AI / 1万 | 乗数 |
|---|---|---|---|
| 「もちろんです!こちらです」 | 0 | 94 | 70× |
| 「もちろん!これです」 | 0 | 23 | 18× |
| 「知っておくべきことは次の通りです」 | 5 | 85 | 11× |
| 「喜んで」 | 54 | 358 | 5× |
人間は「もちろんです!こちらです」と書いたのは1回だけでした。AIはそれを94回書き出しました。
AIが生成するテキストにおける絵文字の使用頻度は全体的に見てほとんど高くない。人間とほぼ同じ頻度で使用されている。しかし、どの絵文字が使われるかについては大きな違いがある。チェックマーク、警告マーク、数字のキーキャップは、人間の基準値に比べて数百倍もの頻度で出現する一方、人間はAIよりもはるかに頻繁に顔の絵文字を使って感情を表現している。
AIが生成するテキストにおける絵文字の使用総数は、ほとんど増加していない。しかし、特定の絵文字には大きな差が見られる――UIでコード化された絵文字は、人間が使用する基準値よりも数百倍も多く出現している。
| 絵文字 | 名前 | 乗数 |
|---|---|---|
| ✅ | 白い太いチェックマーク | 167× |
| 2️⃣ | キーキャップ2 | 129× |
| 4️⃣ | キーキャップ4 | 98× |
| 3️⃣ | キーキャップ3 | 86× |
| ✔️ | チェックマーク | 64× |
| 1️⃣ | キーキャップ1 | 61× |
| 🚀 | ロケット | 26× |
| ❌ | ×印 | 24× |
日常的なソーシャル絵文字は、人間側の画面でわずかに多く表示される傾向があります:
| 絵文字 | 乗数 |
|---|---|
| 😊 | 0.6× |
| ❤️ | 0.2× |