裏付けとなる証拠について

AIが残す痕跡をどのように測定するか。

お気づきの方も多いでしょう。「delve」という単語。あちこちに散りばめられた長ダッシュ。違和感のある絵文字、あるいは不自然な場所での複雑な書式設定。あるいは、具体的に何が原因か特定できないものの、ある文書からは「AIが書いた」という匂いが漂ってくるのです。

おそらくその通りでしょう。研究によると、人は自分の直感を鍛えることで、AIが書いた文章を目視で判別できるようになることが分かっています。しかし、その作業は手間がかかり、混乱を招きやすく、他人に説明するのも難しい場合があります。

「Supporting Evidence」は、AIの「兆候」を明らかにするためのツール群です。数百万件に及ぶ人間とAIが作成した文書からなるコーパスに対し、証拠に基づいた特徴抽出を行うことで、AIの出力に共通して見られる9つのパターンを特定しました。

単一の証拠だけでは決定的な証拠にはなりません。テキストに特定のAI特有のフレーズや絵文字が含まれているからといって、それがAIによって書かれたとは限らないのです。

Pangramの主力検出モデルは、文書を包括的に分析し、特定のテキストに関する数百万ものシグナルを統合するディープラーニングベースの検出器を採用しています。抽出された裏付けとなる証拠は、当社のモデルの入力として使用されるものではありません。

十分な証拠が揃えば、パングラムのAI予測について、皆様により深い理解と明確さ、そして確信を持っていただけるよう願っています。ここでは、AIが生成したテキストにおいて、人間のテキストよりも出現頻度が高い順に、当社が追跡している9つのパターンを詳しく解説します。

裏付けとなる9つの証拠

シグナル乗数
マークダウン12×
AIのフレーズ12×
長横線10×
箇条書き
三合会
「XだけでなくYも」
珍しいUnicode
AI風の見出し
絵文字

マークダウン(12倍)

人間
8
AI
90
1万語あたり

マークダウンとは、書式を文字としてエンコードする方法です。これにより、**太字**、## 見出し、```インラインコード```、*斜体* といった表示が可能になります。大規模言語モデルは、項目を強調したり特定のフレーズに注目を集めたりするために、凝った視覚表現を用いることがよくあります。一方、Google ドキュメントやメールクライアント、フォーラムの投稿欄などで入力を行う一般ユーザーは、そうした表現を使うことはほとんどありません。

実例
体内で非常に重要な酵素の一つは アミラーゼアミラーゼは、デンプン(パン、パスタ、米など)の分解を助けます…
ランガー・ギーディオン症候群(LGS)…別名、第2型トリコリノファランジアル症候群とも呼ばれる…

マークダウン形式ごとの乗数

人間とAIでは、さまざまなマークダウン記号の使用頻度に違いがあります。

バリエーション人間 / 1万AI / 1万乗数
太字(**テキスト**)26543×
見出し(#)0.51123×
インラインコード0.20.8
斜体513

AIフレーズ(12個)

人間
3
AI
30
1万語あたり

「AIフレーズ」は、当初の根拠となる証拠でした。AIが特定の単語やフレーズを多用する傾向にあることは、一見してわかることもあります。しかし、詳しく調べてみると、AIが統計的に有意なレベルで多用しているフレーズが何千もの数に上ることがわかります。ここでは、そうしたフレーズを取り上げます。

実例
35x今日の目まぐるしい世の中で、それは 22 特に注意すべき点は、 私たちは~しなければならない 45x深く掘り下げる 絶えず変化し続ける情報環境と 18x 織りなす世界を探る 現代の課題。

AIのフレーズ例

これらはどれも、人間が書いた文章よりもAIが生成した文章の中で、はるかに頻繁に現れます。モデルによって好みが異なるため、モデルファミリーごとにリストを管理しています。

  • 「適応する能力」
  • 「そのような方々でも利用しやすい」
  • 「レベルアップしたい方」
  • 「注目の的になる」
  • 「欠かせない存在になる」
  • 「~の境界を曖昧にする」
  • 「具体的な状況によって異なる場合があります」
  • 「カジュアルな夜」
  • 「複雑な織物」
  • 「魅力的な物語」
  • 「魅力的で複雑」
  • 「マンネリを感じる」
  • 「決勝戦まで予想し続ける」
  • 「彼は~で知られていた」
  • 「どなたにも強くお勧めします」
  • 「彼のパフォーマンス能力」
  • 「この度は、以下の件についてご連絡いたします」
  • 「あの店の看板メニューを注文した」
  • 「読み応えのある一冊だ」
  • 「素晴らしい質問ですね」
  • 「そのコンパクトなデザイン」
  • 「その能力で知られる」
  • 「もしよかったら教えてね」
  • 「複雑な事柄をわかりやすく解説」
  • 「簡単にできるように」
  • 「明らかな遅延」
  • 「深遠な」
  • 「~との深いつながり」
  • 「興味のある方はぜひ読んでみてください」
  • 「つい先日、光栄にも」
  • 「磨き上げられたものへの映り込み」
  • 「揺れにもかかわらず、揺るぎない」
  • 「人間の証」
  • 「異なるものに対応する」
  • 「細部へのこだわりと献身」
  • 「ゆっくりと一口飲んだ」
  • 「語られざる重み」
  • 「日頃のご尽力に感謝いたします」
  • 「あなた、あるいはあなたの知り合い」
  • 「あなたが触れているのは」

長ダッシュ(10個)

人間
2
AI
17
1万語あたり

長ダッシュは、文の区切りを示す、強調を加える、あるいはより劇的な表現のために他の句読点に代わるなど、正当な句読点の一種です。一見して理由は明らかではありませんが、AIは人間に比べて10倍の頻度で長ダッシュを使用しています。

実例
私の生活はつまらない と言うべきでしょうか。昼は会計士、夜はNetflixの連続視聴者。
ミシガン州は一変した。「ビッグスリー」と呼ばれる自動車メーカー フォード、ゼネラル・モーターズ、クライスラー ミシガン州を世界の自動車産業の中心地にした。

モデルファミリー別の1万語あたりの長横線数

人間は1万語あたり平均5つの長ダッシュを使用します。ほとんどのモデルファミリーはその7倍から9倍を使用していますが、Gemini 3 Proは人間のライターよりも少ない長ダッシュを使用しています。

モデルファミリー1万単位あたり乗数
ヒトの基準値5
OpenAI45
オープンソース37
アンソロピック32
Google(Gemini 3 Pro)30.7×
ある説によると、AIによるダッシュ(—)の過剰使用は、LLM(大規模言語モデル)が最初に普及した後の2024年に急増した。このことから、その背景には、企業がいわゆる「ドキュメントパーサー」と呼ばれる基盤モデルを用いて書籍やその他の長文の印刷物をスキャンし、学習させていることが関係しているのではないかと推測する声もある。

箇条書き(9個)

人間
3
AI
28
1万語あたり

人間なら「リンゴ、オレンジ、バナナ」と書くところを、モデルは改行とダッシュを使う傾向があります。これは主に、会話形式のチャットインターフェースでテキストを整理しやすくするためです。これは間違いというわけではなく、あくまで構造上の癖のようなものです。モデルは人間よりも約9倍の頻度でこれらを生成しますが、文章としてより自然に読める文脈でも、しばしばこのような表現が使われてしまいます。

実例
アミラーゼは次の場所で生成されます: - 唾液腺 – 口の中 - 膵臓 – 小腸に分泌する

一方、人間なら次のように書くかもしれない。「アミラーゼは唾液腺と膵臓で生成され、そこから小腸へと放出されてデンプンを分解する。

トライアド(4回)

人間
5
AI
19
1万語あたり

「3つの要素からなる表現」は、何世紀にもわたって存在してきた言語的パターンです。「血と汗と涙」、「過去・現在・未来」、さらには「リデュース、リユース、リサイクル!」など、多くの3つの要素からなる表現が私たちの共通語彙として定着しています。しかし、AIはこのパターンを、人間が自然に感じる範囲を超えてさらに推し進めており、人間よりも約4倍の頻度でこれらを使用しています。

実例
簡潔にし、目的を含めるようにしなければなりません。 トライアド1手法, 2結果 および 3結論 余計な装飾なしに。
…つながる糸 トライアド1過去2現在 および 3未来 この神聖な場所で。
…以下のテーマを掘り下げた映画 トライアド12喪失 そして 3同一性.

Xだけでなく、Y(3×)

人間
1
AI
3
1万語あたり

「単にXだけでなく、Yも」という表現は、AIに見られる最も不可解なパターンの一つであり、極めて一般的な定型句です。AIは、ある事柄が単なる一つのものだけではなく、全く別のものだと主張するのが大好きです!AIは、この定型句に当てはまる表現を、人間よりも3倍も頻繁に使用します。

実例
…航路を定めることのできる天の羅針盤 海だけでなく だけでなく、運命そのものの織り成すもの.
…その赤ちゃんは……を象徴している 脆弱性だけではない Bしかし、災害後の再生の可能性も.

珍しいUnicode(3回)

人間
28
AI
71
1万語あたり

「珍しいユニコード文字」とは、どのキーボードにも搭載されていない文字のことです。装飾用のダッシュ、数学演算子、矢印のグリフ、枠線描画用文字、あるいはUIスタイルのマーカーなどがこれにあたります。これらは人間の書いたテキストに現れることもありますが、ごくまれです。さらに、本来は関連性のないテキストの中でこうした珍しいユニコード文字が使われている場合、人間による改ざんの試みを示唆していることがあります。

実例
ほぼ等しいグリフ
勝算は 実施したすべての実験において0.73でした。
数学演算子
任意の基地 2は数学的には成り立つ。もし12進法を採用していたら、私たちは……
矢印の記号
アミラーゼと反応させる前:デンプン+ヨウ素 濃い青または黒色

AI生成テキストに登場する珍しいUnicode文字トップ

Charコードポイント名前乗数
U+2500箱の図面 ライト 水平940×
U+2248ほぼ等しい241×
U+26A0警告標識57×
U+2192右矢印48×

AI風の見出し(2つ)

人間
1
AI
2
1万語あたり

「もちろんです!こちらです…」 「はい!こちらです…」 「喜んでお手伝いします…」 こうした陽気なチャットボットの冒頭フレーズは、モデルがプロンプトに応答するよう訓練された結果生じるものです。これらはテキストがAIによって生成されたことを露骨に示すものですが、より洗練された作成者は通常、こうした表現を削除します。

実例
もちろんです!以下に概要をまとめておきました 飛行機が時折行方不明になる理由や、そうした話題に関する投稿の再共有や検索に伴う課題について……
もちろんです!以下に簡単な要約をまとめました 米国上院、連邦議会、および下院の違いについて……
『インセプション』のストーリーについて、喜んでご説明いたします。

陽気なアシスタントのオープニング

これは、モデルがプロンプトに応答するように訓練される仕組みによる副産物です。

フレーズ人間 / 1万AI / 1万乗数
「もちろんです!こちらです」09470×
「もちろん!これです」02318×
「知っておくべきことは次の通りです」58511×
「喜んで」54358
人間は「もちろんです!こちらです」と書いたのは1回だけでした。AIはそれを94回書き出しました。

絵文字(2つ)

人間
0.1
AI
0.2
1万語あたり

AIが生成するテキストにおける絵文字の使用頻度は全体的に見てほとんど高くない。人間とほぼ同じ頻度で使用されている。しかし、どの絵文字が使われるかについては大きな違いがある。チェックマーク、警告マーク、数字のキーキャップは、人間の基準値に比べて数百倍もの頻度で出現する一方、人間はAIよりもはるかに頻繁に顔の絵文字を使って感情を表現している。

実例
判断するための簡単な指針をご紹介します: ### 次のような場合に有効です: 1. 金利が低い場合…
### ⚠️ 回避すべき主なリスク - 脱税:現金支払いの過少申告は、以下の結果を招く恐れがあります…
宇宙って本当に素晴らしいですね――聞いてくれてありがとう! 🚀

どの絵文字か、数ではない

AIが生成するテキストにおける絵文字の使用総数は、ほとんど増加していない。しかし、特定の絵文字には大きな差が見られる――UIでコード化された絵文字は、人間が使用する基準値よりも数百倍も多く出現している。

絵文字名前乗数
白い太いチェックマーク167×
2️⃣キーキャップ2129×
4️⃣キーキャップ498×
3️⃣キーキャップ386×
✔️チェックマーク64×
1️⃣キーキャップ161×
🚀ロケット26×
×印24×

人間たちは反撃する

日常的なソーシャル絵文字は、人間側の画面でわずかに多く表示される傾向があります:

絵文字乗数
😊0.6×
❤️0.2×
この機能

パングラムにおける裏付けとなる証拠

今すぐ試す
    裏付けとなる証拠について | パングラム