パングラムは正確なのでしょうか？

「精度」とは、Pangramがテキストを「AI生成」「AI支援」「人間による執筆」のいずれかに正しく分類できる効果の度合いを示す指標です。精度は2種類の誤りによって定義され、それぞれが個別に測定されます：

1. 偽陰性率：パングラムがAIによって作成された、あるいはAIの支援を受けて作成された文書を見逃し、誤って人間が作成したものと判定してしまう頻度
2. 偽陽性率：Pangramが、人間が作成した文書を誤って「AI生成」または「AI支援」と判定する頻度

Pangramは、統計的な予測を行うツールです。私たちは、Pangramが偽陽性よりも偽陰性を生じやすいように意図的に調整しています。この選択をした理由は、時折の偽陰性は煩わしいものの、偽陽性は実際に害を及ぼす可能性があるからです。

誤検知（偽陽性）や検知漏れ（偽陰性）が発生した場合は、フィードバックフォームから報告してください。ユーザーからの報告は、人間による手動での確認および診断にのみ使用されます。ユーザーデータを用いてモデルを学習させたり、ベンチマークを行ったりすることは一切ありません。

パングラムの精度はどのように測定されるのでしょうか？

Pangramの精度を測定するため、人間、AI、あるいはその両方が執筆した、著者が判明している文書からなる大規模なデータセットを用いてテストを行っています。ベンチマークで信頼性の高い結果が得られるよう、ベンチマーク用データセットを用いてモデルを学習させることは一切行わず、また、正解が不明確なテキストを用いてベンチマークを行うこともありません。

Pangramの精度は、当社による内部検証に加え、 第三者の研究者による検証も受けています。当社は常に、さらなる独立した評価者を求めています。もし、当社のサービスを検証することに興味をお持ちの研究者の方がいらっしゃいましたら、クレジットの提供を行っております！API利用権の提供については、ぜひお問い合わせください。

ベンチマークセット

Pangramは、人間が作成したコンテンツ、AIが生成したコンテンツ、AIが支援して作成されたコンテンツ、および人間とAIが共同で作成したコンテンツなど、多種多様なデータを用いてテストを行っています。

当社が保有する人間によって作成されたベンチマークデータは、幅広いジャンルや分野を網羅した、商用ライセンスを取得した文章および独自作成の文章で構成されています。ユーザーから投稿された文章や海賊版コンテンツをベンチマークに使用することは一切ありません。

当社では、AI生成によるベンチマークセットが、実世界のAIライティング用途を可能な限り幅広く反映することを目指しています。そのため、当社の主要なAI生成ベンチマークでは、匿名化されたLLM会話データセット「LMSYS-Chat-1M」から取得した、自由形式のライティングリクエストのセットを用いてプロンプトを設定しています。

また、外部の研究者によってまとめられ、一般に公開されているいくつかのデータセットを用いてベンチマークテストも行っています。詳細については、「Pangram 4」モデルカードの「サードパーティによるベンチマーク」をご覧ください。

さまざまな種類の文章におけるパングラムの効果

Pangramの目標偽陽性率は0.01％、つまり1万件に1件です。当社の内部ベンチマークでは、Pangram 4はこの目標をわずかに上回り、100万件の文書あたり約41件の偽陽性を記録し、観測された偽陽性率は0.0041％となりました。 約52万件のAI生成文書を対象に測定した当社の主要な偽陰性率は、0.3396%でした。

当社のベンチマークではすべて、偽陽性および偽陰性について厳格な定義を採用しています。人間が作成したセグメントであっても、AI生成またはAI支援と判定された場合――たとえそれがテキスト全体のごく一部であっても――偽陽性として報告されます。同様に、AI生成文書の場合、人間が作成した、あるいはAI支援と判定されたセグメントが文書全体に含まれている場合、その文書全体について偽陰性として報告されます。

ベンチマークの信頼性を確保するため、Pangramの性能を、人間が作成した文章やAIが生成した文章など、さまざまなテキストを用いて測定しています。以下では、さまざまな分野やジャンル、AIモデル、テキストの種類ごとに、Pangramの性能がどのようであるかについてご紹介します。

分野とジャンル

エッセイ、小説、ジャーナリズムなど、文章の種類によって文体、技法、構成はさまざまであり、高レベルのベンチマークでは特定の分野における誤り率が不明確になることがあります。そのため、当プロジェクトではベンチマークを分野別のサブセットに細分化し、それらの各スライスにおける偽陽性率と偽陰性率の両方を検証しています。

ドメイン別の偽陽性率

人間が執筆したさまざまな文章をテストし、誤検知率が不釣り合いに高いものがないかを確認しました。全体として、クリエイティブ、学術、科学分野の文章など、主なユースケースにおける当モデルの性能は極めて良好です。

この分野別の分析では、Amazonのレビュー、ニュース、ハウツー記事のすべてに多言語データが含まれています。

各分野の中で、詩の偽陽性率が最も高かった。詩は短く、形式が厳格である傾向があるため、分類が難しくなる。偽陽性率は依然として比較的低いものの、この種の文章についてはさらに精査を行うことをお勧めする。

ドメイン別の偽陰性率

Pangram 4 は、エッセイ、研究論文、科学論文などの学術的な文章から、創作文章やフィクションに至るまで、AIによって生成された多種多様な文章を検出する能力について評価が行われました。

また、LMSYS-Chat-1Mデータセットに含まれる実世界のLLMプロンプトから抽出した、匿名化されたユーザープロンプトに対するAI生成応答の無作為抽出サンプルについてもテストが行われた。これらのプロンプトには、科学・技術文書、創作文章、ビジネス文書などが含まれていた。

これまでとは異なる新しいAIモデル

AIモデルによって文章の書き方は一様ではありません。Pangram 4のリリースに際し、LMSYS-Chat-1Mデータセットを用いて、26の主要な言語モデルから20,000件の例を生成し、合計520,000件のサンプルを収集しました。以下は、そのうち15のモデルにおける偽陰性率です。完全な表は、Pangram 4のモデルカードでご覧いただけます。

AIモデルもまた、静的なものではありません。新しいAIモデルは絶えずリリースされており、AI企業は新モデルのリリースに際して文章のスタイルや品質に注力しているため、モデルのスタイルやトーンが今後も進化し続けると予想するのは妥当でしょう。最新の状態を維持するため、私たちは新しいモデルがリリースされるたびに小規模なベンチマークテストを実施し、自社モデルのリリース期間の合間にその結果をブログ上で公開しています。

Pangramは、未見のモデルに対しても引き続き良好な性能を発揮しています。これは、新しいモデルがその執筆スタイルの多くを先行モデルから受け継いでいるためです。最新のモデルベンチマーク記事「PangramはClaude Sonnet 5.5を検出できるか？」はこちらでご覧いただけます。また、Pangramが未見のモデルに対して低い偽陰性率を実現している仕組みについては、こちらをご覧ください。

複数の著者による著作

テキストは二元的なものではありません。すべての文書が、完全にAIによって生成されたものか、あるいは完全に人間によって書かれたものかというわけではありません。多くの場合、AIと人間の執筆は、反復的な編集や推敲、その他の往復作業を通じて密接に絡み合っています。理想的には、Pangramは共同作成された文書と、人間の監督が最小限で生成された文書とを区別し、その違いを検出結果に反映できるべきです。

対象となるラベルは、その文書の作成過程でAIがどの程度活用されたかによって異なります。例えば、校正やコピー編集といった軽微なAIの関与については、通常「完全な人間による作成」というラベルを維持すべきですが、明瞭さを高めるための表現や言い回しの変更を提案するといった、より大幅な書き換えについては、一般的に「AI支援」というラベルを付けるべきです。一方、AIによる大規模な書き換えについては、「AI生成」というラベルを付けることができます。

ラベル付けは、AIと人間による執筆がどのように組み合わされているかによっても異なるべきです。例えば、AIとやり取りを繰り返して段落を書き直す場合は「AIによる支援」とラベル付けされますが、人間が書いた主張を、裏付けとなる証拠を添えてより長い段落に展開するようAIに依頼した場合は、各セクションの執筆者が異なることを反映して、「人間とAIによる混合コンテンツ」というラベルが付けられます。

AIを活用した執筆のこうしたさまざまな手法を網羅するため、AIの関与度が異なるデータセットを用いてPangramを評価しています。

Pangramは、AIが支援・編集したテキストの処理に優れています。念のため、PangramはAIと人間が混在したテキストに遭遇した場合は、人間による編集を優先するようにしています。

さまざまな著者

当社は、多様な背景を持つ執筆者に偏りがないかについて、Pangramを評価しました。障害の有無、性別、学年、民族、英語学習者の有無、経済的背景が異なる生徒が執筆した25,996編のエッセイからなるデータセットにおいて、Pangramによる誤検知は0件でした。多様な生徒のエッセイに関する結果の詳細な内訳をご覧ください。

ある研究では、自閉症の執筆者が作成した85,887件を含む計143,755件の文書を対象に、Pangram 4の性能を検証したところ、Pangramには顕著な偏りは見られなかった。神経多様性のある執筆者と対照群の執筆者の両方が作成した2022年以前の89,903件の文書において、Pangram 4の偽陽性率は0.0011%であった。ニューロダイバーシティを持つ執筆者に関するこの独立した研究の全文をご覧いただけます。

Pangramは、英語のほか、アラビア語、中国語、チェコ語、オランダ語、フランス語、ドイツ語、ギリシャ語、ヒンディー語、ハンガリー語、イタリア語、日本語、韓国語、ペルシャ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、スウェーデン語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語に対応しています。

言語別のベンチマーク結果については、Pangramの「サポートされている言語別の誤検知率」をご覧ください。

制限事項

短い文章

Pangramは、主に完全な文で構成され、50語以上の自然言語の文章に含まれるAI生成テキストを検出するように設計されています。Pangramは、テキストの範囲が長いほど信頼性が高く、AI検出器が正確な予測を行うための情報をより多く得ることができます。

以下に、さまざまな長さのテキストにおけるPangramの性能の内訳を示します。偽陽性のトレードオフのため、短いテキストで見られるエラーの多くは、実際には偽陰性となります。

その他の制限事項

現時点では対象外とみなされているテキストの種類がいくつかあり、それらについてはPangramが信頼性の低い結果を返す場合があります。これには以下が含まれます：

• コード、マークアップ、またはマークダウン
• Google 翻訳などのAI翻訳や機械翻訳
• 目次やタイトルページを含む、文書の冒頭部分
• 索引や参考文献一覧などの巻末資料
• 軸ラベルや表データなどの図の説明文
• 数学記号
• 詩やレシピなど、書式が細かく指定されたテキスト

ベストプラクティス

• 最良の結果を得るためには、文書をスキャンする前に、手書きのヘッダー、フッター、指示文、その他の不要な部分を削除してください。
• 可能であれば、PDFよりも生テキストや.docxファイルの使用をお勧めします。PDFの解析を行うと、意図しないノイズが生じる場合があるためです。PDF形式での結果は、必ず再確認してください。

よくある質問

なぜ偽陽性率と偽陰性率を別々に測定するのですか？

精度は、一連のサンプルテキストに対してPangramを実行し、割り当てられたラベルと、その文書が実際に持つことがわかっているラベルとを比較することで測定されます。したがって、偽陰性率と偽陽性率は、それぞれ異なる2つの事象を測定する指標となります：

• 偽陰性率について知りたい：あるAI文書が与えられた場合、パングラムがその文書を「人間によるもの」と判定する確率はどれくらいか？
• 偽陽性率について知りたい：ある人間が作成した文書が与えられた場合、Pangramがその文書をAIによるものと判定する確率はどれくらいか？

AIによって作成された文書群については、偽陽性率は存在しません。なぜなら、パングラムがそこに含まれる項目に割り当てた「陽性（AI）」ラベルは、定義上、すべて真陽性となるため、偽陽性となることはないからです。そのため、偽陽性率と偽陰性率は別々に測定・報告されなければなりません。

Pangramは、短いテキストの分析精度が低いにもかかわらず、なぜそれらをスキャンするのでしょうか？

50語から100語のテキストにおけるPangramの誤検知率は0.02％であり、およそ5,000件に1件の割合です。この数値は十分に高く、またオンライン上の短いテキストも数多く存在するため、一般ユーザーが通常の利用中に短いテキストに関する誤検知に遭遇する可能性はありますが、それでもなお十分に低い数値であるため、Pangramは多くの場合、有用な情報を提供できると考えています。

利用可能な文書の中で、最も長い範囲をスキャンすることを常にお勧めしています。単語数が多いほど、パングラムが予測を行うための情報が増えるため、単語数が増えるにつれて精度が向上するのです。