PangramとGPTZeroを比較するとどうでしょうか？

現在のAI検出ツール市場には、いくつかの大手企業が存在しています。Pangram、GPTZero、Turnitin、ZeroGPTなど、ご存知の方も多いかもしれません。これらのツールの比較に関する包括的な概要については、現在利用可能な最高のAI検出ツールに関するガイドをご覧ください。

こうした企業の多くは、定期的にモデルを更新し、その性能に関するデータを公開しています。最近、GPTZeroは夏のモデル更新を実施し、さまざまな新モデルにおける性能に関する新たなデータを公開しました。このブログ記事では、GPTZeroの新モデルの性能と、最新のGPT-5モデルを含むPangramのAI検出機能を比較していきます。

パングラム対GPTZero：公表された数値

注：GPTZeroは内部の評価用データセットを一般に公開していないため、これらの数値はまったく同じ文書に基づくものではありません。さらに、GPTZeroはテストに使用した文書数も公開していないため、数量の比較もできません。ただし、Pangramの性能数値については、実環境での使用状況を再現するため、各モデルにつき数千件の文書に加え、多岐にわたる分野やプロンプトの構成を用いて評価を行いました。

さらに、Pangramの精度は、AI生成文書を最も多く検出することに留まりません。Pangramは、誤検知率を低く抑える点でも市場をリードしています。人間が作成した文書をAI生成文書として誤って判定しないことは、当社にとって最優先事項です。以下に、PangramとGPTZeroの報告されている誤検知率の違いを示します：

GPTZeroの誤検知率に関するブログ記事

ここでは、GPTZeroの性能評価において、偽陽性率（FPR）が1%であることが示されています。

研究の結果はどうなっているのか？ パングラム対GPTZero

PangramとGPTZeroは、査読付きAI研究論文においても直接対決を繰り広げてきた。このことは、メリーランド大学による最近の研究「文章作成タスクでChatGPTを頻繁に利用する人々は、AI生成テキストを正確かつ確実に識別できる」に最もよく表れている。この研究では、専門知識を持つ人間のアノテーターが、人間が作成したテキストとAIが生成したテキストの違いを分類する能力について調査が行われた。

この研究の一環として、人間の評価者による判定結果と、市販の検出器およびオープンソースの検出器との比較評価が行われた。Pangramは、個々の人間による検出器よりも優れた性能を示したほか、GPTZeroを含むすべての市販の代替製品よりも優れた結果を出した。

多言語対応

Pangramの主力モデルとGPTZeroの違いはこれだけではありません。どちらのモデルも「多言語対応」であり、英語だけでなく、さまざまな言語でAI生成テキストを検出することができます。Pangramは、インターネット上で利用頻度の高い上位20言語すべてに対応しています。一方、GPTZeroは英語、フランス語、スペイン語に対応しています。各モデルでテストされている言語は以下の通りです：

パングラムによる多言語テキストの処理に関する詳細については、こちらのブログ記事をご覧ください

ESLの性能

さらに、AI検出器が英語を母語としないユーザーに対して偏見を持つ可能性があるという懸念が広く指摘されているため、両モデルともESL（英語を第二言語とする）テキストの性能に特に配慮して学習されています。GPTZeroとPangramは、いずれもESLテキストに関する結果を公表しています。両モデルの比較結果は以下の通りです：

パングラムのESLテキストへの取り組みについて詳しく知りたい方は、こちらのブログ記事をご覧ください：https://www.pangram.com/blog/how-accurate-is-pangram-ai-detection-on-esl

未発表モデルとGPT-5

AI検出ソリューションの導入を検討している企業にとって、もう一つの懸念事項は、未公開のモデルに対する性能です。AI競争が激化する中、大手AI研究所や新興企業は重要なモデルを次々と公開しています。AI検出ソリューションにおいては、直接トレーニングを行っていない可能性のあるモデルに対しても、正確な結果を出し続けられることが重要です。

先日リリースされたGPT-5は、この点を検証する絶好の機会となりました！新モデルのリリースから数時間以内に、PangramチームはGPTZeroとPangramの性能を、さまざまなプロンプト形式でテストしました。その結果は以下の通りです：

注：GPTZeroはその後、GPT-5での性能が向上したと謳うモデルアップデートをリリースしました！当初の比較に関する詳細については、こちらのブログ記事をご覧ください。また、ユーザーの皆様には、随時ご自身でテストを行い、性能を比較されることをお勧めします。

結論

結局のところ、PangramはAI生成コンテンツを検出するための堅牢で信頼性の高い選択肢であり続けています。教育、出版、コンテンツモデレーション、あるいはそれ以上の独自のニーズであっても、当社は正確かつ公平なAI検出ソリューションをご提供いたします。詳細は当社のブログをご覧いただくか、info@pangram.com までお問い合わせください。