Pangramはヒューマナイザーに対してどの程度の性能を発揮するのか？（2025年8月更新）

Pangramはヒューマナイザーに対してどの程度の性能を発揮するのか？（2025年8月更新）

AI検出は、大規模言語モデル、検出ツール、そして「ヒューマナイザー」の間で行われる「軍拡競争」とよく形容される。ヒューマナイザーとは、AIが生成したテキストを難読化し、意図的に誤りを加えることで、生成されたテキストを人間が書いたように見せかけることを目的とした、オンライン上のツールの一種である。

パングラムでは、常に時代の最先端を行き、新モデルやヒューマナイザーにおける最新の技術進歩に迅速に対応しています。これにより、信頼性の高いAI検知機能を実現しています。

2025年1月、当社は19種類のヒューマナイザーおよびパラフレーズツールを検証した技術レポートの更新版を公開しました。主な調査結果は以下の通りです：

• パングラムは、人間化ツールや言い換えツールに対して高い耐性を持っています
• 人間による校正者の中には、スペースや句読点の間隔に意図的に誤りを加えたり、同義語を一つ一つ置き換えたりする者もいます。
• その他の人間味を加えるツールには、テキストを人間らしい表現で言い換えるよう訓練された、微調整済みの大規模言語モデル（LLM）自体も含まれます。
• ヒューマナイザー処理されたテキストの読みやすさや流暢さが高ければ高いほど、Pangramによって検出される可能性が高くなります。
• 言い換えれば、流暢さの観点から「良い」ヒューマナイザーは検出されやすく、「悪い」ヒューマナイザーは検出されにくいということだ。

しかし、ヒューマナイザーの分野は急速に進化しているため、最新のヒューマナイザー・ベンチマークに関する最新データを公開したいと考えました。

パングラムのヒューマナイザーの最新の結果

Pangramは、私たちがテストした主要なヒューマナイザーのすべてにおいて、90%以上の精度を示しています。

人間らしいAI生成テキストに対して、Pangramは他のAI検出ツールと比べてどうでしょうか？

Russellらによる研究では、PangramがGPTZeroやいくつかのオープンソース手法と、人間が作成したテキストを用いて比較評価されている。人間が作成したテキストに対するPangramの最良モデルの精度は97%であるのに対し、GPTZeroは46%、FastDetectGPTは23%、Binocularsは7%であった。

他の検出器と比較した、Pangramの人間的なテキストに対する性能

JabarianとImasによるごく最近の研究によると、4つの商用検出器の中で、ヒューマナイザーに対して頑健な性能を発揮するのはPangramだけであることが判明した：

長い文章の場合、PangramはAI生成テキストをほぼ100%検出します。文章が短くなるにつれてFNRは若干上昇しますが、それでも低い水準を維持しています。他の検出器は、ヒューマナイザーに対してはそれほど頑健ではありません。 Originality.AIのFNRは、長いテキストでは約0.05まで上昇しますが、ジャンルやLLMモデルによっては、短いテキストでは最大0.21に達することもあります。GPTZeroは、ほとんどのジャンルやLLMモデルにおいてFNRスコアが0.50以上となり、AI生成テキストを検出する能力をほぼ失っています。RoBERTaも同様に低調で、全体的に高いFNRスコアを示しています。

テキストが人間らしく書き換えられているかどうか、どうすれば分かるでしょうか？

テキストがヒューマナイザーにかけられたかどうかは、目視でいくつかの点から判断できます。

捻じ曲げられた言葉

「ヒューマナイザー」を見抜く最も簡単な方法の一つは、「不自然な言い回し」を探すことです。これは、盗用を隠蔽するために不自然に置き換えられた同義語のことです。GrammarlyやQuillbotといったワードスピナーツールは、AIが登場する以前から、盗用を隠蔽するためにこうした同義語置換アルゴリズムを使用してきました。

不自然な言い回しの例としては、「人工知能」の代わりに「偽りの意識」と言ったり、「乳がん」の代わりに「胸の危機」と言ったりすることが挙げられます。昨年、「マーティン・ルーサー・キング・ジュニア」の代わりに「マーティン・ルーサー・ルーラー・ジュニア」と書かれた学生の作文があったという、面白い事例を耳にしました。

人間らしいAI生成テキストを見分ける唯一の手段として、不自然な表現に注意を払うことは重要ですが、不自然な表現は、非ネイティブの英語話者が特定の単語の直接的な意味や一般的な用法を理解し損ねたり、誤用したりした場合にも、非ネイティブの文章によく見られるものです。

不自然な間隔のエラー

ヒューマナイザーは、スペースを追加したり削除したりすることで、AI検出ツールのトークナイザーを欺こうとすることがよくあります。特に、文と文の間のスペースを削除する手法がよく見られます。

よく使われるフレーズ

人間味を加えたAI生成テキストであっても、人間味のないAI生成テキストと同様の繰り返し表現が見られる。同じ文書内で不自然な表現が2回も現れる場合、そのテキストが「ヒューマナイザー」によって生成されたものであることが特に明白となる。なぜなら、それはヒューマナイザーが体系的に同じ類義語置換を行っている証拠だからだ。

特殊文字

また、ヒューマナイザーは通常、AI検出ツールのトークナイザーを欺くために、非標準のUnicode文字を使用します。その一例として、通常のスペースの代わりに「U+2009」（「半角スペース」を表すUnicode文字）を使用する、よく知られたヒューマナイザーがあります。 コピー＆ペーストした文字列の中に隠れている可能性のある、すべての非表示文字を確認できるウェブサイトhttps://www.soscisurvey.de/tools/view-chars.phpを推奨します。

人間味のある文章における非表示文字の例

執筆プロセスのツール

Google ドキュメントのPangramの新しい「ライティング再生」機能を使えば、Google ドキュメント内のテキストの大部分が手入力ではなく、コピー＆ペーストされたものかどうかを確認することもできます。Google ドキュメントにおけるAI検出機能の詳細については、こちらをご覧ください。

コピーと貼り付けを示す書き込み再生の例

なぜパングラムは、人間らしいAI生成テキストに対して100%正確ではないのでしょうか？

パングラムが、人間らしいAI生成テキストに対して完璧な検出器ではないのには、いくつかの理由があります。

1. Pangramは、誤検知率（False Positive Rate）については決して妥協しません。当社の内部モデルのいくつかは、ヒューマナイザーをほぼ完璧な精度で検出できますが、その一方で誤検知率が高くなりがちです。ヒューマナイザーの出力をすべて捕捉することよりも、本物の人間の文章が決してAIとしてフラグ付けされないようにすることの方が重要であるため、当社はこれらのモデルを公開していません。

2. 質の極めて低い「ジャンク」テキストは、目視ですぐに見分けがつきます。 Most of the cases in which Pangram does not catch humanized output, the text is so badly garbled and obfuscated that it barely resembles English. These cases are easy to spot by eye, but are hard to catch algorithmically because there are infinitely many ways to produce gibberish. We would rather descope gibberish than try to detect it, as it is not even well-posed to try to distinguish human gibberish from humanizer gibberish.

今後、Pangramのヒューマナイザーの性能は向上していくのでしょうか？

はい、ヒューマナイザーの検出はPangramにとって現在注力している研究分野であり、今後もこれらのヒューマナイザーの特性を解明し、ヒューマナイザーの出力を検出するための研究成果を公表していきたいと考えています。Pangramが学術的誠実性の分野において信頼できるツールとして認められるためには、大規模言語モデルから直接コピー＆ペーストされたテキストだけでなく、こうした不正ツールによって生成されたテキストも検出できる必要があります。

PangramのAI検出ツールを使って、Humanizerの出力結果とご自身の文書を比較してみてください。