第三者によるパングラム評価

当方は、各機関がPangramの高い精度を信頼できることが重要であると考えており、そのため、当社の品質指標（偽陽性率および偽陰性率）について、第三者による検証を推奨しています。以下では、シカゴ大学（UChicago）およびメリーランド大学（UMD）の研究者、ならびに民間の評価機関によるPangramの評価結果をご紹介します。

要点：Pangramの内部テストは、第三者による検証にも耐えうるものである。

Pangramは、AIによって完全に生成されたテキストに対して97.5%の検出率を達成し、ESLのエッセイでは誤検知がゼロでした。

2026年6月に発表された査読付き論文において、ブリュッセル自由大学（Vrije Universiteit Brussel）の研究者グループは、Pangram、GPTZero、Turnitin、Copyleaksという4つのAI検出ツールを、それぞれ4000語以上の学術論文160編に対して検証しました。 データセットは英語で書かれており、ESL（英語を第二言語とする）の学生が執筆した論文、AIが生成した論文、ハイブリッド（人間とAIのテキストが混在したもの）、および人間が修正したAI生成テキストに均等に分類されていた。

研究者らは、AI生成コンテンツを確実に検出できたツールは「Pangram」だけだったことを突き止めた。「今回調査した4つのAI検出ツールのうち、現時点では[Pangram]だけが満足のいく結果を出した。」

Pangramは、完全にAIによって作成された論文と、人間が書き直した論文の両方を確実に検出できた唯一のツールでした（検出率はそれぞれ97.5％と95％）。完全にAIによって生成された論文のセットについては、他の3つのツールは実質的に検出できず、いずれも検出率は0％でした。人間が書き直したテキストを確実に処理できた検出ツールはPangram以外にはありませんでしたが、Turnitinは約半数、Copyleaksは約4分の1を検出できました。

これまでの研究では、他の検出ツールがESL（英語を第二言語とする）の執筆者に誤検知を生じさせることが明らかになっていたが、この独立した研究によると、PangramにはESLのテキストに対して実質的な偏りはないことが示されている。

パングラムの信頼性と正確性（シカゴ大学）

実験

シカゴ大学のベッカー・フリードマン経済研究所では、研究者らがPangram、GPTZero、Originality AI、RoBERTa（オープンソースのAI検出ツール）という4つのAI検出ツールを比較しました。この研究では、各検出ツールを用いて、2020年以前に書かれた人間によるテキスト1,992件と、AIによって生成されたテキスト1,992件を、ジャンルや文字数ごとに分析しました。 研究者らは、AI検出における2種類の誤り、すなわち偽陽性率（FPR）と偽陰性率（FNR）に注目した。これらの率は、複数の閾値について比較された。また、検出器はChatGPT、Claude、Geminiといった一般的な大規模言語モデル（LLM）から生成されたテキストも分類した。研究者らは、FNRの変化を確認するために、検出器間で複数のFPRポリシー上限を設定した。

結果

2025年8月にブライアン・ジャバリアンとアレックス・イマスによって発表された研究『人工的な筆記と自動検出』より：

Pangramは、すべての閾値において他の検出器を圧倒している。

Pangramは、AI生成テキストを正確に検出する能力を損なうことなく、厳格なポリシー上限（FPR ≤ 0.005）を満たす唯一の検出器です。

Pangramはあらゆるジャンルにおいて依然としてコストパフォーマンスに優れたリーダーであり、AI生成テキストを正確に検出できた場合の平均単価は0.0228ドルです。これに対し、OriginalityAIは0.0416ドル、GPTZeroは0.0575ドルとなっており、Pangramは全文および断片のいずれにおいても、最もコスト効率の高い検出ツールとなっています。

この研究では、以下のことが明らかになった：

Pangramは、中程度から長い文章において、誤検知率と検知漏れ率を実質的にゼロに抑えています。

Pangramの高い精度は、ブログ、レビュー、履歴書、ニュース、小説など、さまざまなジャンルのテキストにおいて高く評価されました。短いテキストでは、誤検知率と検知漏れ率がわずかに上昇しますが、「それでも妥当な基準値を十分に下回っています」。

6つのジャンルと4つのLLMについて、各検出器の平均偽陽性率（人間のテキストをAIテキストと誤判定する割合）および偽陰性率（AIテキストを見逃す割合）を示した。いずれも数値が低いほど良好である。

Pangramは50語未満のテキストについては予測を行わなくなりましたが、研究で指摘されているように、

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

パングラム対ヒューマナイザーズ（メリーランド大学）の対戦結果

実験

このUMDの研究における実験1では、LLMに関する知識レベルが異なるアノテーターを起用し、あるテキストがAIによって生成されたものかどうかを予測させた。 あるアノテーターがAI生成テキストの識別においてほぼ完璧な精度を示したことを確認した後、LLMの使用経験が同様の背景を持つ4名の専門家アノテーターを追加で起用し、同じ60件のサンプルを分類させた。専門家の判定結果は、Pangram、Pangram Humanizer、GPTZeroといった商用検出器や、Fast-DetectGPTのようなオープンソースツールと比較された。この過程において、Pangramは他の検出器と比較された。

すべての条件および最も難易度の高い条件（人間が作成したo1-proテキスト）における、AI記事の検出率（TPR）と誤検知率。専門家のレベルに匹敵したのはパングラムのみであった。

結果

Pangramは、AIが生成したテキストを人間が書いたものに見せかけた「ヒューマナイズされたテキスト」を正確に検出できます。これは、メリーランド大学（UMD）のコンピュータ科学者たちによっても裏付けられており、彼らはPangramがヒューマナイズされたテキストや言い換えられたテキストの検出において総合的に最高スコアを記録し、99.3%の精度で他のAI検出ソフトウェアを上回ったと指摘しています。

パングラムがヒューマナイザーに対してどのような結果を示すか、詳しく見てみましょう

研究機関以外におけるパングラムの評価

『Tom’s Guide』のアマンダ・キャスウェル氏は記事の中で、数十種類のAI検出ツールを試した結果、Pangramが「試した他のツールよりも優れた性能を発揮した」と述べている。また、Pangramは、もともと低い誤検知率をさらに低減させるべく、精力的に取り組んでいることも明らかになった。

ZDNETのデビッド・ゲウィーツ氏は、パングラムについて「当社のテストに初めて登場したばかりでありながら、瞬く間にトップグループに躍り出た」と評している。

研究論文におけるAIの利用が増加していることから、これが不正行為の兆候ではないかと懸念されている。アダム・デイ氏のMedium記事では、AIコンテンツの普及状況について信頼性の高い結果を得るためにPangramのAI検出機能を活用しつつ、研究における生成AIには正当な活用事例も存在すると結論付けている。デイ氏は、Pangramを利用して調査を行うことを推奨し、「もし誰かが既刊文献における生成AIの利用状況について調査を行いたいのであれば、Pangramのツールを使えばそれを実現する絶好の機会になると思う」と述べている。

結論

パングラムでは、透明性が信頼の基盤であると確信しています。皆様の組織にAIの透明性をもたらすため、ぜひご一緒に取り組ませていただきたいと考えております。