AI検出研究の最新動向

Pangramは、AI生成コンテンツの検出における権威としての地位を確立しつつあります。当社の業界をリードするアプローチとモデルは、AI検出分野の最新研究で常に取り上げられています。そこで本日は、最近の研究とその成果についてご紹介したいと思います！

研究1：文章作成にChatGPTを頻繁に利用する人々は、AI生成テキストを正確かつ確実に識別できる

研究の概要

本論文では、メリーランド大学の研究者らが、AI生成テキストの人間による判別について調査を行っている。彼らは、LLMへの習熟度が異なるアノテーターを雇い、300本のノンフィクション記事を読み、それらが人間によって書かれたものか、AIによって生成されたものかを分類させた。その結果、執筆作業でLLMを頻繁に利用している人々は、特別な訓練を受けていなくても、AI生成テキストの判別に優れていることが分かった。

パングラムについて

この研究では、人間の能力と「自動検出器」（別名Pangram）を比較しています。結果をご覧ください：

PangramのHumanizerモデル（詳細は後述）とPangramは、AI生成テキストを100%検出するという圧倒的な性能を示し、群を抜いて優れた検出器でした。また、両モデルとも言い換えや人間らしい表現への耐性が非常に高く、90%の検出率を維持しました。

詳細については：

こちらのリンクから公開された研究論文をご覧ください

研究2：ドメイン横断型機械生成テキスト検出チャレンジ

研究の概要

本研究において、ペンシルベニア大学の研究者たちは、検出器が特定のAIモデル、文書の種類、および「敵対的攻撃」（AI生成テキストの検出を困難にしようとする試み）に対して汎用性を発揮できるかどうかを検証しました。その結果、「検出器は、多くの分野やモデルにまたがるテキストを同時に、かつ堅牢に検出できる」ことが明らかになりました。もし「AI検出器は役に立たない」と言う人がいたら、ぜひこの研究を紹介してあげてください！

パングラムについて

一番上に「パングラム」があります！私たちは、この研究のために特別に設計・訓練された、レイドス社の研究チームが開発した検出器と同点で、1位を獲得しました。

詳細については：

このトピックに関するブログ記事の全文はこちら、発表された研究論文はこちらをご覧ください！

研究3：ESPERANTO：テキストの出所を特定するAI検出の頑健性を高めるための合成フレーズの評価

研究の概要

本研究では、「バック・トランスレーション」と呼ばれる攻撃手法について考察している。これは、攻撃者がAIによる検出を回避するために、テキストを複数の言語に翻訳した後、再び英語に翻訳し直すという手法である。その結果、テキストの意味内容は維持しつつ、AI生成テキストの検出率を（ほとんどの検出器において😄）大幅に低下させることができることが判明した。

パングラムについて

ご覧の通り、Pangramはすべてのカテゴリーにおいて最高の堅牢性を示しています。バック翻訳によって競合他社の検出率が半分、あるいは4分の1近くまで低下することがある一方で、Pangramは堅牢性を維持しています。

詳細については：

最初のブログ記事はこちら、発表された研究論文はこちらをご覧ください！

おまけ：パングラム独自の調査

パングラムがモデルの精度向上を目的として社内で実施している研究について詳しく知りたい方は、こちらをご覧ください：

DAMAGE：敵対的改変されたAI生成テキストの検出

「パングラムAI生成テキスト分類器」に関する技術報告書

研究への取り組み

パングラムでは、この分野の研究を推進することを使命としており、パングラムを活用したAI検出の研究に関心をお持ちの研究者の方には、無料で無制限にアクセスしていただけます。詳細についてご興味をお持ちの方は、info@pangram.comまでお問い合わせください。