どちらが優れているか：パングラムかターニチンか？

二大AI検出ツールの比較

「パングラムとターンイティンのAIライティング検出器の違いは何ですか？」という質問をよく受けます。結局のところ、多くの学校ではターンイティンの従来の剽窃検出ツールを使用しています。ターンイティンのAIライティング検出器は使い方は簡単ですが、多くの教育関係者は代わりにパングラムを選択しています。なぜでしょうか？私の考えでは、主な要因は正確性と利用可能性の2点です。

パングラムの正確性 vs. ターニタンの正確性

パングラムの精度はどれほどか、ターニティンの精度はどれほどか？各社は精度を詳細に記した技術報告書を公開しており、両者とも異なる学術研究において精度が測定されている。

ターンイティンの2024年9月技術報告書によると、GPT-4生成テキストに対する同社の検出率は76.8%であった。これは、ターンイティンが検知するGPT-4由来のAI生成テキストの約77%を検出していることを意味する。

対照的に、Pangramの技術報告書は、AI生成テキスト全体および特にGPT-4テキストにおいて99.9%のリコール率を達成していることを実証している。これらの数値は第三者による学術研究によって裏付けられており、3つの 独立した 研究すべてがPangramの精度が99%を超えることを確認している。

偽陽性率

偽陽性率は精度の重要な要素であり、教室環境においては最も重要と言える。検出器の結果を信頼できないなら、その有用性は果たしてどれほどのものだろうか？

ターンイティンの技術報告書によると、誤検知率は0.51％、つまり約200件に1件の割合である。

ターンイティンのウェブサイトで報告されている誤検知率

一方、Pangramの全体的な誤検知率は0.01%（1万件に1件）と十分に実証されている。Turnitinの評価と同様の学術論文データセットにおいて、Pangramは2万5千件に1件の誤検知率を示している。

ESLバイアス

パングラムとターニティンの両者は、英語を母語としない話者に対して偏見がないと主張している。

Pangramは、4つの保持されたESLデータセット全体で0.032%の偽陽性率を測定した。

ターンイットインはESLライティングにおける自社の性能を調査し、ESLライティングにおける誤検知率（FPR）が1.4%であることを測定しました。これは非ESLライティングにおける1.3%の誤検知率と比較した数値です。

Pangramは同一データセットを直接比較測定可能であり、ESL文書では0.02%、非ESL文書では0.0%という著しく低い偽陽性率（FPR）を示した。

利用可能性

パングラムは、学校が機関ライセンスを所有しているかどうかに関わらず、すべての教師が利用できます。教師は1日5回の無料チェックを受けられますが、大量利用のためのサブスクリプションも可能です。学校が機関ライセンスを購入した場合、すべての教師および教職員がパングラムを無制限に利用できます。

Turnitinは機関ライセンス経由でのみ利用可能です。機関ライセンスに加入せずにTurnitinのAI検出製品を無料で試用する方法はありません。

パングラムをどのように使えばいいですか？

パングラムを使用する主な方法は3つあります：

1. ダッシュボード：Pangramの無料ダッシュボードでは、テキストを貼り付けたり文書をアップロードしたりして、AI生成コンテンツの有無を確認できます。ダッシュボードでは、AI生成箇所を示すチャートや一般的なAIフレーズのハイライトを含む、AIライティングの詳細レポートを確認できます。
2. Chrome拡張機能：Pangram Chrome拡張機能を使用すると、任意のテキストを選択し、右クリックメニューから「AIコンテンツをチェック」を選択することで、AI生成コンテンツの有無を確認できます。この機能はインターネット上のあらゆる場所で動作し、Canvas Speedgraderやディスカッション掲示板も含まれます。また、この拡張機能はGoogleドキュメントにボタンを追加し、文書内のAI生成コンテンツを即座にチェックすることも可能です。
3. LMS連携：PangramはCanvasやGoogle Classroomなど、様々な連携機能を備えています。これらは機関ライセンスでのみ利用可能です。最新の連携機能一覧はこちらをクリックしてください。

どの言語がサポートされていますか？

パングラムは24言語に対応しています。対応言語は英語、アラビア語、中国語、オランダ語、チェコ語、フランス語、ドイツ語、ギリシャ語、ヒンディー語、ハンガリー語、イタリア語、日本語、韓国語、ペルシア語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、スウェーデン語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語です。

Turnitinは3つの言語に対応しています：英語、日本語、スペイン語。

パングラム対ターニティンの概要

全体として、PangramとTurnitinの双方が、精度に関する主張を裏付ける十分な証拠を提示していますが、他のAI検出ツールと比較すると、Pangramの精度はTurnitinよりも2桁高い水準にあります。Pangramは24言語に対応しているのに対し、Turnitinが対応しているのは3言語のみです。Pangramには無料のダッシュボード、Chrome拡張機能、個人向けおよび機関向けライセンスが用意されていますが、Turnitinでは機関向けライセンスのみが提供されています。