パングラムとターニティン、どちらが良いでしょうか？

主要な2つのAI検出ツールの比較

「PangramはTurnitinのAIライティング検出ツールとどう違うのか」という質問をよく受けます。何しろ、多くの学校ではTurnitinの従来の剽窃検出ツールが採用されています。TurnitinのAIライティング検出ツールは使い勝手が良いのですが、多くの教育者は代わりにPangramを選んでいます。なぜでしょうか？ 私の考えでは、その主な要因は「精度」と「利用のしやすさ」の2つです。

パングラムの精度とTurnitinの精度の比較

「Pangram」と「Turnitin」の精度はどれほどでしょうか？両社とも精度に関する詳細な技術報告書を公開しており、また、それぞれが異なる学術研究において精度測定を受けています。

Turnitinの2024年9月の技術報告書によると、GPT-4によって生成されたテキストの検出率は76.8%であった。これは、Turnitinが検出したGPT-4によるAI生成テキストのうち、およそ77%を特定できたことを意味する。

対照的に、Pangramの技術レポートでは、AI生成テキスト全体およびGPT-4のテキストについて、99.9%のリコール率を示しています。これらの数値は、第三者の学術研究によっても裏付けられており、3つの 独立した 研究のすべてにおいて、Pangramの精度は99%を超えていることが確認されています。

偽陽性率

誤検知率は精度を構成する重要な要素であり、教室という環境においては、おそらく最も重要な要素と言えるでしょう。検知器の結果を信頼できないのであれば、その検知器に一体どれほどの価値があるというのでしょうか。

Turnitinの技術報告書によると、誤検知率は0.51％であり、およそ200件に1件の割合となっています。

Turnitinのウェブサイトに掲載されている誤検知率

一方、Pangramの全体的な誤検知率は0.01％（1万件に1件）であることが、多くの文献で報告されています。Turnitinの評価と同様の学術論文データセットにおいて、Pangramの誤検知率は2万5000件に1件となっています。

ESLバイアス

パングラムもターニチンも、英語を母語としない人に対して偏見がないと主張している。

Pangramは、4つのテスト用ESLデータセットにおいて、0.032%の偽陽性率を記録した。

Turnitinは、ESLライティングにおける同サービスの性能を調査し、ESLライティングにおける誤検知率（FPR）を1.4％と測定した。一方、非ESLライティングにおける誤検知率は1.3％であった。

Pangramは、直接比較を行うために同じデータセットを用いて評価を行い、ESL（英語を第二言語とする）の文章では0.02%、非ESLの文章では0.0%という、著しく低いFPR（誤検知率）を実証した。

在庫状況

Pangramは、所属する学校が機関ライセンスを保有しているかどうかに関わらず、すべての教員が利用可能です。教員は1日5回まで無料で利用できますが、Pangramを大量に利用する場合はサブスクリプションに加入することも可能です。学校が機関ライセンスを購入した場合、すべての教員および教職員がPangramを無制限に利用できるようになります。

Turnitinは機関ライセンスを通じてのみ利用可能です。機関ライセンスに加入しない限り、TurnitinのAI検出機能を無料で試用する方法はありません。

パングラムはどのように使えばいいですか？

パングラムを使う主な方法は3つあります：

1. ダッシュボード：Pangramの無料ダッシュボードを使用すれば、テキストを貼り付けたりドキュメントをアップロードしたりして、AI生成コンテンツの有無を確認できます。ダッシュボードでは、AI生成が検出された箇所を示すグラフや、よくあるAI生成フレーズのハイライトなど、AI生成に関する詳細なレポートを確認できます。
2. Chrome拡張機能：Pangram Chrome拡張機能を使用すると、テキストを選択して右クリックメニューから「AIコンテンツをチェック」を選ぶことで、任意のテキストのAI生成コンテンツを確認できます。この機能は、Canvas Speedgraderやディスカッション掲示板を含め、インターネット上のどこでも利用可能です。また、この拡張機能はGoogleドキュメントにボタンを追加し、ドキュメントのAI生成コンテンツを即座にチェックすることもできます。
3. LMS連携：Pangramでは、CanvasやGoogle Classroomなど、さまざまなLMSとの連携機能を提供しています。これらの機能は、教育機関向けライセンスでのみご利用いただけます。連携機能の最新リストはこちらをご覧ください。

対応している言語は何ですか？

Pangramは、英語、アラビア語、中国語、オランダ語、チェコ語、フランス語、ドイツ語、ギリシャ語、ヒンディー語、ハンガリー語、イタリア語、日本語、韓国語、ペルシャ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、スウェーデン語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語を含む24の言語に対応しています。

Turnitinは、英語、日本語、スペイン語の3つの言語に対応しています。

「パングラム」対「ターニチン」の概要

全体として、PangramとTurnitinの双方が、精度に関する主張を裏付ける十分な証拠を提示していますが、他のAI検出ツールと比較すると、Pangramの精度はTurnitinよりも2桁高い水準にあります。また、Pangramは24言語に対応しているのに対し、Turnitinが対応しているのは3言語のみです。さらに、Pangramには無料のダッシュボードやChrome拡張機能、個人向けおよび機関向けライセンスが用意されていますが、Turnitinでは機関向けライセンスのみが提供されています。

高等教育機関向けの検出ツールの全体像を把握したいですか？大学が採用すべきAI検出ツールをご覧ください。