第三者によるパングラム評価

当方は、各機関がPangramの高い精度を信頼できることが重要であると考えており、そのため、当社の品質指標（偽陽性率および偽陰性率）について、第三者による検証を推奨しています。以下では、シカゴ大学（UChicago）およびメリーランド大学（UMD）の研究者、ならびに民間の評価機関によるPangramの評価結果をご紹介します。

要点：Pangramの内部テストは、第三者による検証にも耐えうるものである。

パングラムの信頼性と正確性（シカゴ大学）

実験

シカゴ大学のベッカー・フリードマン経済研究所では、研究者らがPangram、GPTZero、Originality AI、RoBERTa（オープンソースのAI検出ツール）という4つのAI検出ツールを比較しました。この研究では、各検出ツールを用いて、2020年以前に書かれた人間によるテキスト1,992件と、AIによって生成されたテキスト1,992件を、ジャンルや文字数ごとに分析しました。 研究者らは、AI検出における2種類の誤り、すなわち偽陽性率（FPR）と偽陰性率（FNR）に注目した。これらの率は、複数の閾値について比較された。また、検出器はChatGPT、Claude、Geminiといった一般的な大規模言語モデル（LLM）から生成されたテキストも分類した。研究者らは、FNRの変化を確認するために、検出器間で複数のFPRポリシー上限を設定した。

結果

2025年8月にブライアン・ジャバリアンとアレックス・イマスによって発表された研究『人工的な筆記と自動検出』より：

Pangramは、すべての閾値において他の検出器を圧倒している。

Pangramは、AI生成テキストを正確に検出する能力を損なうことなく、厳格なポリシー上限（FPR ≤ 0.005）を満たす唯一の検出器です。

Pangramはあらゆるジャンルにおいて依然としてコストパフォーマンスに優れたリーダーであり、AI生成テキストを正確に検出できた場合の平均単価は0.0228ドルです。これに対し、OriginalityAIは0.0416ドル、GPTZeroは0.0575ドルとなっており、Pangramは全文および断片のいずれにおいても、最もコスト効率の高い検出ツールとなっています。

この研究では、以下のことが明らかになった：

Pangramは、中程度から長い文章において、誤検知率と検知漏れ率を実質的にゼロに抑えています。

Pangramの高い精度は、ブログ、レビュー、履歴書、ニュース、小説など、さまざまなジャンルのテキストにおいて高く評価されました。短いテキストでは、誤検知率と検知漏れ率がわずかに上昇しますが、「それでも妥当な基準値を十分に下回っています」。

シカゴ大学の研究者らは、Pangramが他の既存のAI検出ツールに比べて優れた性能を発揮することを指摘した。FPRの上限を0.0001に設定した場合、「GPTzeroもOriginality.AIも、最も厳しいFPR制限の下では十分な性能を発揮できない……。一方、PangramはほとんどのLLMモデルにおいて、依然として約0.01のFNR率を達成している。」

Pangramは50語未満のテキストについては予測を行わなくなりましたが、研究で指摘されているように、

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

パングラム対ヒューマナイザーズ（メリーランド大学）の対戦結果

実験

このUMDの研究における実験1では、LLMに関する知識レベルが異なるアノテーターを起用し、あるテキストがAIによって生成されたものかどうかを予測させた。 あるアノテーターがAI生成テキストの識別においてほぼ完璧な精度を示したことを確認した後、LLMの使用経験が同様の背景を持つ4名の専門家アノテーターを追加で起用し、同じ60件のサンプルを分類させた。専門家の判定結果は、Pangram、Pangram Humanizer、GPTZeroといった商用検出器や、Fast-DetectGPTのようなオープンソースツールと比較された。この過程において、Pangramは他の検出器と比較された。

パングラム文が、言い換えられたテキストや人間味を加えたテキストに対して示した一貫した性能

結果

Pangramは、AIが生成したテキストを人間が書いたものに見せかけた「ヒューマナイズされたテキスト」を正確に検出できます。これは、メリーランド大学（UMD）のコンピュータ科学者たちによっても裏付けられており、彼らはPangramがヒューマナイズされたテキストや言い換えられたテキストの検出において総合的に最高スコアを記録し、99.3%の精度で他のAI検出ソフトウェアを上回ったと指摘しています。

パングラムがヒューマナイザーに対してどのような結果を示すか、詳しく見てみましょう

研究機関以外におけるパングラムの評価

『Tom’s Guide』のアマンダ・キャスウェル氏は記事の中で、数十種類のAI検出ツールを試した結果、Pangramが「試した他のツールよりも優れた性能を発揮した」と述べている。また、Pangramは、もともと低い誤検知率をさらに低減させるべく、精力的に取り組んでいることも明らかになった。

ZDNETのデビッド・ゲウィーツ氏は、パングラムについて「当社のテストに初めて登場したばかりでありながら、瞬く間にトップグループに躍り出た」と評している。

研究論文におけるAIの利用が増加していることから、これが不正行為の兆候ではないかと懸念されている。アダム・デイ氏のMedium記事では、AIコンテンツの普及状況について信頼性の高い結果を得るためにPangramのAI検出機能を活用しつつ、研究における生成AIには正当な活用事例も存在すると結論付けている。デイ氏は、Pangramを利用して調査を行うことを推奨し、「もし誰かが既刊文献における生成AIの利用状況について調査を行いたいのであれば、Pangramのツールを使えばそれを実現する絶好の機会になると思う」と述べている。

信頼できる研究におけるパングラムの結果の活用（メリーランド大学）

メリーランド大学（UMD）の研究者らは（マイクロソフトおよびパングラムと共同で）、最近の研究においてパングラムのAI検出結果を活用し、18万6,000件の新聞記事をサンプルとして、ニュース記事中にAI生成テキストが存在するかどうかを分析した。AI生成されたニュース記事の割合は低いことが判明したものの、AIの使用については開示されていなかった。 Pangramを用いて、「ニューヨーク・タイムズ、ウォール・ストリート・ジャーナル、ワシントン・ポストの論説欄に掲載された、AIコンテンツを含む219本の記事」を特定した。

この研究では、AIの利用における以下のような微妙な違いを指摘することができた：

自ら記事を書く記者たちは、記事の中で引用している人々が、その回答を作成するためにAIを利用していたことに気づいていないかもしれない。

パングラム検出を用いたニュースにおけるAI

結論

パングラムでは、透明性が信頼の基盤であると確信しています。皆様の組織にAIの透明性をもたらすため、ぜひご一緒に取り組ませていただきたいと考えております。