AI検出研究の最新動向

パングラムはAI生成コンテンツ検出の権威として存在感を増し続けています。業界をリードする当社の手法とモデルは、AI検出分野の最新研究で常に言及されています。そこで本日は、最近の研究事例とその知見をいくつかご紹介したいと思います！

研究1：文章作成タスクでChatGPTを頻繁に使用する人々は、AI生成テキストを正確かつ確実に検出できる

研究概要

本論文では、メリーランド大学の研究者らがAI生成テキストの人間による検出を研究している。彼らはLLM（大規模言語モデル）への習熟度が異なるアノテーターを雇い、300本のノンフィクション記事を読ませ、人間が書いたものかAI生成かを分類させようとした。その結果、文章作成タスクで頻繁にLLMを利用する人々は、訓練を受けていなくてもAI生成テキストの検出に優れていることが判明した。

パングラムが示すもの

この研究は人間の能力と「自動検出器」（別名パングラム）を比較評価した。結果を見てみよう：

パングラムのヒューマナイザーモデル（詳細は後述）とパングラムは、AI生成テキストの検出率において他を圧倒する最良の検出器であり、全AI生成テキストの100%を検出しました。両モデルとも言い換えや人間化処理に対する高い頑健性を維持し、90%の検出率を達成しました。

詳細については：

公開された研究はこちらでご覧ください

研究2：クロスドメイン機械生成テキスト検出課題

研究概要

本研究では、ペンシルベニア大学の研究者らが、検出器が固定されたAIモデル群、文書種別、および「敵対的攻撃」（AI生成テキストの検出を困難にする試み）に対して汎化できるかどうかを検証した。その結果、「検出器は複数のドメインとモデルから生成されたテキストを同時に堅牢に検出できる」ことが判明した。もし誰かが「AI検出器は機能しない」と言ったら、この研究を指摘してやればいい！

パングラムが示すもの

パングラムがトップにいます！我々は、この研究のために特別に設計・訓練されたLeidosの研究チームの検出器と並んで、1位を獲得しました。

詳細については：

このトピックに関するブログ記事全文はこちらでご覧ください。公開された研究はこちらでご確認ください！

研究3：エスペラント：テキスト生成におけるAI検出の堅牢性向上のための合成フレーズ評価

研究概要

本研究では「逆翻訳」と呼ばれる攻撃手法を検証する。これは悪意ある攻撃者がテキストを複数言語に翻訳した後、英語へ逆翻訳することでAI検出を回避する手法である。研究結果によれば、テキストの意味的意味を保持しつつ、AI生成テキストの検出可能性を大幅に低減できることが判明した（大半の検出器において😄）。

パングラムが示すもの

ご覧の通り、パングラムは全カテゴリーにおいて最高の頑健性を示しています。バックトランスレーションでは競合他社の検出率が半分、あるいはほぼ4分の1にまで低下する場合もありますが、パングラムは頑健性を維持します。

詳細については：

最初のブログ記事はこちら、公開された研究はこちらをご覧ください！

ボーナス：パングラム独自の研究

パングラムが自社モデルを改善するために行っている内部研究について詳しく知りたい場合は、こちらの研究内容をご覧ください：

DAMAGE: 敵対的改変を受けたAI生成テキストの検出

パングラムAI生成テキスト分類器に関する技術報告書

研究への取り組み

パングラムでは、この分野の研究を推進することを使命としており、AI検出の研究に関心を持つ研究者の方々に、パングラムを用いた無制限の無料アクセスを提供しています。詳細についてご興味をお持ちですか？info@pangram.comまでお問い合わせください。