パングラム対ターニチン：どちらのAI検出機能の方が優れているか？

学術的誠実性の分野に少しでも詳しい方なら、おそらく「Turnitin」をご存じでしょう。これは学術界におけるトップランナーであり、剽窃検出の分野において、それには十分な理由があります。 

全国の学校では、生徒の課題に盗用がないかを確認するためにTurnitinを利用しています。すでに業務フローの重要な一部となっている以上、そのAI検出機能を活用することは、当然の次のステップだと思われるでしょう。 

しかし、TurnitinのAI検出システムは緊急時には役立つものの、AI生成コンテンツの影響は教室の枠をはるかに超えています。オンラインで情報を閲覧する人々の67％が、AIによって生成された誤解を招く情報に遭遇したことがあることが判明しました。それにもかかわらず、この同じグループは依然として誤検知率について懸念を抱いています。 

正確さは、教室の内外を問わず、依然として重要な要素です。 

だからこそ、PangramとTurnitinを直接比較する際、私たちが最も重視して評価したのは精度でした。 

本日は、検出性能、誤検知率、対応言語、アクセシビリティ、価格、導入オプションなど、当社の調査結果を詳しく解説し、皆様のニーズに最適なプラットフォームがどれかをご案内します。 

パングラム対ターニチン：比較解説

一見すると似ているように見えますが、パングラムとターニティンは、AI検出に対するアプローチにおいて、根本的に異なる優先順位を念頭に置いています。ターニティンは、多くの教育機関ですでに導入されている広範なエコシステムであり、AI検出機能も備えています。 

一方、パングラムは、何よりもまずAI検知を最優先に考えて特別に開発されたものです。 

パングラムとは何ですか？

Pangramは、教育関係者、出版社、入試担当チーム、そして文章の出所を評価する必要があるあらゆる個人や組織のために開発されたAI検出プラットフォームです。ある文章の作成にAIが使用されたかどうかを確認したい場合、弊社がお手伝いいたします。 

当社の手法こそが、他社製の検出ツールとの差別化要因となっています。初期のAI検出ツールは、パープレキシティやバースト性といった表面的な指標に過度に重点を置いていました。 

こうした理由から、私たちはAI検出における2つの最大の問題、すなわち「誤検知」と「人間らしさを備えたAI生成コンテンツ」に対処するため、Pangramを開発しました。 

当社のモデルは、人間が作成した文章とAIが生成した文章の両方からなる数百万件のサンプルを用いて学習されており、生成されたテキストを正確に識別しつつ、人間が作成した文章を誤ってフラグ付けすることなく識別することができます。 

その結果は？　ごく少数の孤立した信号ではなく、文書全体を分析するように設計された検出器が誕生した。 

現在、Pangramは24言語に対応した検出機能を提供しており、Webプラットフォーム、Chrome拡張機能、LMS連携機能に加え、大規模なコンテンツ検証を必要とする組織向けのエンタープライズAPIも提供しています。

Turnitinとは

ここ20年の間に大学教育を受けたことがある人なら、この名前を聞いたことがあるはずです！Turnitinは、盗作検出ソフトウェアで最もよく知られる学術的誠実性を確保するためのプラットフォームです。同社の最新サービスは2023年に登場し、AIによる文章検出機能を追加しました（これは実に理にかなった動きでした）。 

多くの学校では、すでにTurnitinを利用して、学生が提出した課題を、出版物や過去に提出された課題の膨大なデータベースと照合して確認していました。AI検出機能を追加したことで、教育機関は盗作とAI生成文の両方を同時に評価できるようになりました。

そのため、Turnitinは、単体のAI検出ツールとしてではなく、より広範な学術的誠実性プログラムの一環として採用されることがよくあります。

その主な対象は、依然として、大規模な学術的誠実性の管理を行うための一元化されたシステムを必要とする小中高および大学です。

正確性

AI検出ツールを評価する上で、精度こそが最も重視すべき指標です。幸いなことに、ここで取り上げるどちらのツールについても、精度について推測する必要はありません。PangramもTurnitinも技術レポートを公開しているため、数値を直接比較することができます。 

本題に入る前に、ここで「精度」が何を意味するのかを明確にしておく価値があります。というのも、AI検出の分野ではこの用語が安易に使われがちだからです。実際には関連する指標は2つしかないので、理解するのは簡単です。 

• 検出率：検出器がAI生成コンテンツを正しく識別できる頻度はどれくらいか？ 

• 誤検知率：検出器が、人間の書いた文字をAIによるものと誤って判定する頻度はどれくらいか？

現在市場に出回っているAI検出ツールの多くは、どちらか一方に偏りすぎている傾向があります。一方の分野で優れた性能を発揮するのは簡単ですが、両方の分野で優れた性能を発揮するのははるかに困難です。幸いなことに、PangramもTurnitinも、この点ではかなり良好な結果を出しています。 

Turnitinの技術レポートによると、同社のツールをテストした際、研究者はGPT-4によるコンテンツの検出率が76.8％であったことを明らかにしました。これは、技術的な試験において、TurnitinがAIによって生成された提出物の4件に1件を見逃していたことを意味します。

同様に、パングラムの技術報告書によると、パングラムは同じモデルファミリーにおいて99.9%を超える検出率を示したことが明らかになった。また、大量の学生の課題を審査する教育機関にとっては、この2つのツール間の差はかなり大きく、パングラムの方が生成されたコンテンツの検出率がはるかに高い。 

上記で述べたような精度に関する主張は、検証が可能であり、定期的にテストやレビューが行われている場合にのみ意味があります。そのため、当社はベンチマークデータを公開するとともに、学術機関との提携や研究者向けアクセスプログラムを通じて、独立した評価を支援しています。複数の第三者機関による研究で、パングラムの性能が直接測定されています。 

誤検知の点に注目すると、この話はさらに興味深いものになります。Turnitinの報告によると、誤検知率は約0.51％で、これは文書200件に1件の割合に相当します。一方、Pangramのベンチマークテストでは、全体での誤検知率は1万件に1件と報告されており、学術論文に至ってはさらに良好な結果を示し、約2万5000件に1件となっています。

入手可能なベンチマークデータを比較してみると、精度の面での勝者は明らかです。Pangramは、AI生成コンテンツの検出率がより高く、かつ誤検知の数がはるかに少ないのです。

偽陽性率

AIが生成したテキストが欠落しているのは苛立たしいことですが、学術的誠実性に関する問題で学生を不正行為で誤って非難することは、私の考えでは、それよりもはるかに悪いことです。

教室、ニュース編集室、あるいは職場において、誤検知は深刻な結果を招く可能性があります。学生が学業上の不正行為で非難されたり、記者の記事が疑われたり、編集者が正当な投稿に対する信頼を失ったりする恐れがあります。ユーザーが結果を信頼できなければ、検出器の精度はその意味を大きく失ってしまいます。

Turnitinによると、同プラットフォームの誤検知率は0.51％、つまりおよそ200件に1件となっています。これは、評価対象となった200件の文書ごとに、約1件の真正な文書が誤って検出されていることを意味します。

Pangramが公表したベンチマークテストの結果によると、全体的な誤検知率は1万件に1件となっています。Turnitinの評価と同等の学術論文データセットでは、その率はさらに低下し、2万5000件に1件となっています。

これらの数値はシカゴ大学によって独立して検証されており、そのため、各教育機関が学生の課題に関する判断を下す際にパングラムを利用する場合でも、私たちはその数値を自信を持って支持することができます。

ESLバイアス

AI検出に関して現在も懸念されている大きな問題の一つは、英語が母語ではない執筆者が、AIを使用していると誤って判定される可能性が高くなるかどうかという点である。英語が母語ではない人は、パープレキシティスコアが低くなるような書き方をすることが多いため、人間が書いた文章が、統計的にはAI生成テキストと類似しているように見えることがある。

どのAI検出ツールも、第二言語としての英語（ESL）によるバイアスを軽減することを最優先事項だと主張しています。しかし、真の問題は、その主張を数字が裏付けているかどうかです。

ESL評価において、このモデルはESLデータセットと非ESLデータセットの両方で、極めて低い偽陽性率を維持しました：

これらの結果は、個々の語彙の選択や画一的な文章テンプレートに依存するのではなく、文書レベルのパターンを評価するという、パングラム社のAI検出に対する包括的なアプローチと一致している。

この研究の詳細についてさらに詳しく知りたい場合は、ESLライティングにおけるAI検出精度に関する当社の分析および多言語対応のAI検出機能についてご覧ください。

在庫状況

当たり前のことかもしれませんが、AI検出ツールは、実際に使えなければ意味がありません！これは、PangramとTurnitinの最大の違いの一つであり、多くの教育者が個別のソリューションを必要としているため、ここで触れておく価値があります。

Pangramは、どなたでもご利用いただけます。教育関係者、出版社、法務チーム、企業のコンテンツレビュー担当者など、あらゆる方にお役立ていただけます。アカウントを作成すれば、1日4回までの無料スキャンを含め、すぐにプラットフォームをご利用いただけます。まだお試しになっていない方は、ぜひ今すぐ試してみてください。 

一方、Turnitinについては、教育機関レベルで利用権が与えられていない限り、利用するのは困難です。個々の教育者にとっては、ほとんど利用の余地がありません。Turnitinへのアクセス権は、通常、学校や大学が管理する教育機関向けライセンスを保有する者に限定されています。

ただし、パングラムは個人向けだけのものではありません。大学や学区も、機関向けライセンスを通じてパングラムを大規模に導入することができ、教職員に無制限のアクセス権を提供するとともに、LMSとの連携も実現できます。

つまり、Pangramは個人での利用が可能である一方で、Turnitinが本来想定している組織での導入にも対応しています。 

価格

同様に、Turnitinも価格設定については同様に曖昧な態度をとっています。教育機関でない場合、価格情報は一切公開されていません。 

Pangramでは、料金体系をわかりやすく提示し、比較しやすいようにしています。個人ユーザーは、1日4回のスキャンまで無料で利用を開始でき、有料プランは月額15ドルからで、最大600回のAIスキャンが可能です。また、より広範なアクセスが必要な学校や組織向けに機関向けライセンスもご用意しており、あらゆるニーズにお応えします。

ただし、Turnitinは価格情報を公表していません。機関向けライセンスは見積もり制となっており、価格は通常、各教育機関と直接交渉して決定されます。個人向けプランはなく、購入を決定する前に検知機能を試してみたいという方向けのセルフサービスオプションも提供されていないため、価格について詳しく述べることはできません。

対応言語 

言語のサポートは、この2つのプラットフォーム間における、実用上の違いの中でも特に重要なものの1つです。

Pangramは、英語、アラビア語、中国語、オランダ語、チェコ語、フランス語、ドイツ語、ギリシャ語、ヒンディー語、ハンガリー語、イタリア語、日本語、韓国語、ペルシャ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、スウェーデン語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語を含む24の言語に対応しています。

一方、Turnitinは英語、日本語、スペイン語の3言語に対応しています。ただし、当社のAIによる言い換え機能および検出回避機能は、英語での提出物にのみ利用可能です。

留学生を受け入れている教育機関や、多言語のコンテンツをレビューする企業チームにとって、このギャップは重大な問題となります。3言語しか対応していない検出ツールでは死角が生じ、対応していない言語で生成されたAIコンテンツがレビューの対象外となってしまいます。

パングラムはどのように使えばいいですか？

PangramがTurnitinに比べて持つ利点の一つは、その柔軟性です。Pangramは単一のワークフローに限定されることなく、コンテンツのレビュー方法に応じて、いくつかの異なる方法で利用することができます：

• ダッシュボード：Pangramの無料ダッシュボードを使用すると、テキストを貼り付けたり、ドキュメントをアップロードしたりして、AIによる生成コンテンツの有無を確認できます。ダッシュボードからは、AIによる生成箇所を示すグラフや、よく使われるAIフレーズをハイライト表示したものを含む、AI生成に関する詳細なレポートを確認できます。

• Chrome拡張機能：PangramのChrome拡張機能を使用すると、テキストを選択して右クリックメニューから「AIコンテンツをチェック」を選ぶことで、任意のテキストのAIコンテンツの有無を確認できます。この機能は、Canvas Speedgraderやディスカッション掲示板を含め、インターネット上のどこでも利用可能です。また、この拡張機能はGoogleドキュメントにボタンを追加し、ドキュメントのAI使用状況を即座に確認することもできます。

• LMSとの連携：Pangramでは、CanvasやGoogle Classroomなど、さまざまな連携機能を提供しています。これらは教育機関向けライセンスでのみ利用可能です。 

チームに最適なAI検知プラットフォームを見つけましょう

全体として、パングラムとターニティンの両社は、精度に関する主張を裏付ける十分な証拠を提示しているが、他のAI検出ツールと比較すると、パングラムはターニティンよりも2桁も高い精度を誇っている。

その違いを実際にご自身で確かめたい場合は、Pangramを無料で試すことができます。AI検出ツールで最初のスキャンを実行したり、Chrome拡張機能を使ってブラウジング中にコンテンツをチェックしたり、エンタープライズAPIを試してその仕組みを確認したりしてみてください。