AI検出スコアにはどのような意味があるのでしょうか？

学生のレポートやフリーランサーの記事をAI検出ツールにかけたところ、画面に「AI検出率65%」という大きな数字が表示されました。さて、次にどうしますか？

AI検出スコアは、合格・不合格が明確な従来の評価基準とは異なります。「完全にAI生成されたもの」と「AIで編集されたもの」の間の微妙な違いは変化し続けており、Pangramの検出システムも同様に進化しています。

このガイドでは、単純なパーセンテージをわかりやすい言葉で解説します。AIスコアチェッカーがどのようにパーセンテージを算出するのか、信頼区間とは何か、そしてアクションを起こすための適切なAI検出器の閾値をどのように決定するかについて説明します。

その割合は実際には何を示しているのでしょうか？

AI検出ツールで文書をスキャンすると、AI検出率が表示されます。例えば「50%」といった具合です。したがって、このAI検出率チェッカーによると、この文書の50%はAIによって生成された、あるいはAIの支援を受けて書かれた内容であることになります。

AI検出スコアの例

高度なAI検出ツールは、文書を単一の巨大なテキストブロックとして扱うことはありません。むしろ、これらのツールはテキストをセグメント、文、段落に分割します。これらの個々のブロックは、セグメントとしてスコア付けされます。

10ページの論文で30%というスコアが出た場合、それはおおよそ3ページ分の文章に、LLMに典型的なパターンが見られることを意味するでしょう。

AIスコアの分布図の読み方

AI検出ツールを使用していて、特定の文書が低いスコア（例：AI生成率30%）を示した場合、それは通常、ハイブリッド文書であることを示しています。ハイブリッド文書とは、通常、人間が執筆した後にAIツールの支援を受けて編集されたもの、あるいはAI生成されたテキストが追加されたものを指します。

AI生成コンテンツと人間が執筆したコンテンツの混合

AIを活用した検出スコアは、執筆者が次のような場合によく発生します：

• Grammarlyなどのツールを使用しています。
• ChatGPTのようなLLMに対し、作成した段落を「滑らかにする」よう依頼する。
• AIを活用して、母国語を英語に翻訳しています。

テキストの言語的特徴が圧倒的にAI生成によるものである場合、AI検出率が非常に高くなることがよくあります。これは通常、そのテキストの執筆者がLLMにプロンプトを入力し、LLMが直接生成した出力を多少編集した上でコピー＆ペーストしたことを意味します。

AIによる採点ツールは正確なのか？

他ツールの結果については検証できませんが、Pangramのようなエンタープライズ向けAIチェッカーは極めて高い精度（99.98%）を誇ります。その精度を判断しやすくするため、ほとんどのエンタープライズ向けAIチェッカーでは、モデルが自身の検出率をどの程度確信しているかを示す「信頼度」が表示されています。

「AI検出ツールは正確なのか」という問いに対する答えは、次の2つの事実に基づいています。すなわち、あるテキストがAIによって生成されたものかどうかを判断するために統計モデルが用いられており、これらのモデルは絶対的な確実性ではなく、確率に基づいて動作しているということです。

文章の内容を単純な「AIか否か」という二元論で評価するAIチェッカーを使用している場合、Pangramのようなツールを使えば、AIによる執筆を示唆する具体的な箇所を特定するのに役立ちます。

「まちまち」な結果

現代のワークフローにおける一つの現実として、人間とAIによる執筆・編集が組み合わさった「混合」コンテンツが存在します。そのため、Pangram 3.0（およびそれ以降）のようなツールでは、テキストを「完全な人間によるもの」、「AIによる軽微な支援」、「AIによる中程度の支援」、「完全なAI生成」というスペクトラム上で分類しています。

AIスコアの結果（混合）

AI生成テキストをスペクトラム上で分類することは重要です。なぜなら、「AIによる軽微な支援」のスコアが10%のテキストと、「完全にAI生成」のスコアが95%のエッセイでは、学校や編集方針において異なる扱いを受ける可能性があるからです。ハイライト表示された部分を見れば、どの部分がAIによって作成されたのかが正確にわかります。

どのようなAIスコアの閾値で対応が必要となるか？

是正措置を必要とする「魔法の数字」のような普遍的な基準は存在しませんが、ベストプラクティスとして、AI検出スコアが20%未満の場合は、通常、一般的なデジタル文章作成支援ツールによるものと考えられます。一方、60%を超えるスコアの場合は、その文章の真正性について直接話し合う必要があることが多いでしょう。

AIポリシーの内容に合わせて、AI検出ツールの閾値を設定する必要があります。例えば、ポリシーで「アイデア出しにはAIを使用してもよいが、文章自体の作成には使用してはならない」と定めている場合、スコアが40%であれば調査が必要になる可能性があります。あるいは、ポリシーで「執筆プロセスのいかなる段階においてもAIを使用してはならない」と定めている場合、スコアが15%であっても調査が必要になる可能性が高いでしょう。

表示されるAI検出スコアは、診断ツールとしてご利用いただけます。スコアが高くなった場合は、Pangramでハイライトされた箇所や「AIフレーズ」レポートを活用し、執筆者と直接話し合い、執筆プロセスの説明を求めることができます。これにより、誤解の解消や適切な指導が可能となり、双方にとって望ましい成果が得られるでしょう。

AIによる検出は、単純な「合格／不合格」という二元的な評価ではない

Pangramは、現代の文章を形作るプロセスを可視化する、精緻な分析ツールです。AIスコアが何を意味するのかを正確に理解することで、専門家は信頼性を確保しつつ、執筆者を公平に扱うことができます。

数字の意味を推測するのはやめましょう。Pangramのセグメント分析を活用すれば、テキストの執筆状況について、詳細かつ平易な言葉で解説されたインサイトを得ることができます。

書類をスキャンしてください