パングラムはヒューマナイザーでどの程度良好に動作するか？（2025年8月更新）

パングラムはヒューマナイザーでどの程度良好に動作するか？（2025年8月更新）

AI検出は、大規模言語モデル、検出ツール、そして「ヒューマナイザー」と呼ばれるオンラインツール群の間で繰り広げられる「軍拡競争」とよく表現される。ヒューマナイザーとは、AI生成テキストを難読化し、意図的な誤りを導入することで、結果として人間が書いたように聞こえるようにするツール群を指す。

パングラムでは、常に時代の先端を行くよう努めており、新モデルとヒューマナイザーの両方における最新の技術進歩に対応しています。これにより、信頼性を維持したAI検出を実現しています。

2025年1月、当社は技術レポートの更新版を公開しました。このレポートでは19種類のヒューマナイザーおよびパラフレーザーツールを検証しました。主な調査結果は次の通りです：

• パングラムは人間化処理や言い換え処理に対して頑健である
• 一部の人間化ツールは、スペースや句読点の誤りを手動で追加し、一対一の同義語置換を行います。
• その他の人間化ツールは、人間らしいスタイルでテキストを言い換えるよう訓練された、微調整された大規模言語モデル（LLM）そのものです。
• ヒューマナイザーのテキストが読みやすく流暢であればあるほど、パングラムによって検出される可能性が高くなります。
• 言い換えれば、流暢さの観点で「優れた」ヒューマナイザーはより検出されやすく、「劣った」ヒューマナイザーは検出されにくい傾向にある。

しかしながら、ヒューマナイザーの環境は急速に変化しているため、最新のベンチマークに基づく更新された数値を公開したいと考えました。

パングラムの更新されたヒューマナイザー結果

ヒューマナイザー	精度
Ahrefs	100.0%
aihumanizer.com	100.0%
バイパスGPT	99.7%
ディッパー	97.6%
ゴーストAI	100.0%
GPTinf	99.2%
Grammarly	100.0%
ヒューマナイズAI.io	93.8%
ヒューマナイズAI.プロ	100.0%
完了	93.5%
クイルボット	100.0%
スクリブラー	99.0%
準人間型AI	100.0%
スモーディン	100.0%
ステルスGPT	95.6%
サーファーSEO	100.0%
サージグラフ・アイオー	100.0%
トウェインGPT	92.7%
検出不能なAI	90.3%
ライツソニックAI	98.1%

Pangramは、当社がテストした主要なヒューマナイザーすべてにおいて90%以上の精度を達成しています。

パングラムは、人間らしいAIテキストにおいて他のAI検出ツールと比べてどうですか？

ラッセルらによる研究では、パングラムがGPTZeroおよび複数のオープンソース手法と人間化テキストにおいて比較評価された。パングラムの最良モデルは人間化テキストで97%の精度を達成したのに対し、GPTZeroは46%、FastDetectGPTは23%、Binocularsは7%であった。

パングラムの検出器が他の検出器と比較した際の、人間化テキストに対する性能

ジャバリアンとイマスによるごく最近の研究では、4つの商用検出器の中でパングラムのみがヒューマナイザーに対して頑健な性能を示すことが判明した：

より長い文章では、PangramはAI生成テキストをほぼ100%検出する。文章が短くなるにつれてFNRは若干増加するが、依然として低い水準を維持する。他の検出器はヒューマナイザーに対する耐性が低い。 Originality.AIのFNRは長文では約0.05まで上昇するが、ジャンルやLLMモデルによっては短文で最大0.21に達する。GPTZeroはAI生成テキストの検出能力をほぼ失い、ほとんどのジャンルとLLMモデルでFNRスコアが0.50以上となる。RoBERTaも同様に低性能で、全体を通して高いFNRスコアを示す。

テキストが人間化されているかどうか、どうすればわかりますか？

テキストがヒューマナイザーを通されたかどうかを目視で判断する方法はいくつかあります。

ねじれた言葉

ヒューマナイザーを見分ける最も簡単な方法の一つは、「不自然な言い換え」を探すことです。これは盗作を隠すために不自然に置換された類義語です。GrammarlyやQuillbotなどの文章リライトツールは、AI以前から盗作を隠すためにこうした類義語置換アルゴリズムを使用してきました。

不自然な表現の例としては、「人工知能」の代わりに「偽りの意識」や、「乳がん」の代わりに「胸の危険」などが挙げられます。昨年、学生の作文で「マーティン・ルーサー・キング・ジュニア」の代わりに「マーティン・ルーサー・ルーラー・ジュニア」と書かれたという面白い事例がありました。

不自然な表現を、人間が書いたAIテキストを見分ける唯一の手段として用いるのは慎重であるべきだ。なぜなら、不自然な表現は非母語話者が特定の単語の直接的な意味や典型的な用法を誤用・誤解した際に、非母語話者の英語文章にも頻繁に現れるからだ。

不自然なスペースの誤り

ヒューマナイザーはしばしば、スペースを追加したり削除したりすることでAI検出器のトークナイザーを欺こうとする。特に文間のスペース削除がよく見られる。

反復表現

人間化処理を施したAIテキストは、未処理のAIテキストと同様に反復的な表現を示す。特に、同じ文書内で同じ不自然な表現が二度出現する場合、そのテキストが人間化処理ツールによるものである可能性が高い。これは、ツールが体系的に同一の同義語置換を適用している証拠となる。

非標準文字

ヒューマナイザーは通常、AI検出器のトークナイザーを欺くためにも非標準のUnicode文字を使用します。その一例として、一般的なヒューマナイザーが通常のスペースの代わりに「U+2009」（「細いスペース」を表すUnicode文字）を使用することが挙げられます。 コピー＆ペーストされた文字列に隠されている可能性のある非表示文字をすべて確認できるこのウェブサイトhttps://www.soscisurvey.de/tools/view-chars.php を推奨します。

人間化テキストにおける非表示文字の例

執筆プロセスツール

Google ドキュメントの Pangramの新機能「ライティング・プレイバック」を使用すると、Google ドキュメント内のテキストの大部分が手入力ではなくコピー＆ペーストされたものかどうかを確認することもできます。Google ドキュメントにおける AI 検出の詳細な説明はこちらをご覧ください。

コピー＆ペーストを示す再生の書き方の例

なぜパングラムは人間らしいAIテキストに対して100%正確ではないのか？

パングラムが人間化されたAIテキストの完璧な検出器ではない理由はいくつかある。

1. パングラムは偽陽性率の妥協を望んでいません。当社の内部モデル数種はヒューマナイザーをほぼ完璧な精度で検出可能ですが、偽陽性率が高くなります。これらモデルを出荷しないのは、ヒューマナイザーの出力を全て捕捉することよりも、本物の人間の文章がAIと誤判定されないことを優先しているためです。

2. 極めて低品質な「ジャンク」テキストは目視で容易に判別できる。パングラムが人間化処理された出力を検出できないケースの大半は、テキストがひどく歪められ難読化されているため、英語らしさがほとんど失われている。こうしたケースは目視では簡単に見分けられるが、無意味な文字列を生成する方法は無限にあるため、アルゴリズムによる検出は困難である。 人間による無意味なテキストとヒューマナイザーによる無意味なテキストを区別しようとする試みはそもそも適切に設定されていないため、我々は無意味なテキストの検出を試みるよりも、その範囲外とすることを選択する。

Pangramのヒューマナイザーの性能は、時間の経過とともに向上するでしょうか？

はい、ヒューマナイザー検出はPangramにとって活発な研究分野であり、これらのヒューマナイザーの特性を引き続き解明し、その出力検出に関する研究成果を公表していく所存です。Pangramが学術的誠実性における信頼できるツールと見なされるためには、大規模言語モデルから直接コピー＆ペーストされたテキストだけでなく、こうした不正ツールによって生成されたテキストも検出できなければなりません。