AIの導入が進むにつれ、AIと共同で文章を作成する人が増えています。同様に、AI検出ツールの多くのユーザーは、その文章の作成にAIがどの程度関与していたのかを知りたがっています。誰かが自分の文章をAIを使って滑らかにしただけなのか、それともAIに一から完全なエッセイを作成させたのか、ということです。
Pangram 3.0 は、当社の最新検出モデルです。このモデルは、テキストを以下のカテゴリに分類することができます:
Pangram 2.0と同様に、検出アルゴリズムは長い文書を複数のセグメントに分割し、それぞれのセグメントを長い文書全体の文脈の中で分類します。つまり、文書の前半が人間によって書かれ、後半がAIの支援を受けて書かれた場合、Pangramはそのことを判別できるということです。解説動画をご覧ください:
「完全な人間による執筆」とは、AIによる実質的な支援を受けずに書かれたテキストを指します。Pangramはアイデアの出所を特定することはできませんが、AIが単語の選択において用いる文体の特徴を検知することは可能です。AIによる執筆と判定されないテキストを書く最善の方法は、執筆プロセスにおいてAIを使用しないことです。
「軽微なAI支援」とは、通常、テキストの根本的な考え方、構成、または内容に影響を与えない、表面的な変更を指します。軽微な支援には、スペルや文法の修正、表現の改善、翻訳、読みやすさの向上が含まれます。
「中程度のAI支援」とは、通常、AIがテキストの大部分を書き直したり、独自のコンテンツを追加したりした変更を指します。中程度の支援には、詳細や補足情報の追加、口調の調整、文章構成の見直し、あるいは異なるスタイルや口調での書き直しなどが含まれます。
「完全にAIによって生成された」と分類されたテキストは、通常、ChatGPTのようなAIモデルから直接生成されたものです。このカテゴリーには、主にAIによって生成されたテキストや、当初はAIによって生成されたテキストも含まれます。
要するに、私たちは、もともと人間が書いたテキストに対してAIモデルに様々な程度の編集を行わせることで、多種多様な共著テキストを用いてモデルを学習させています。技術的な詳細については、モデルの背後にある仕組みを解説した当社の技術ブログ記事をご覧ください。
Pangramの精度はこれまでと変わらず、AI生成テキストの検出精度は99.98%を維持しており、AI生成ラベルに対する誤検知率はほぼゼロです。
| 人間が執筆したエッセイで、以下に分類されるもの | 評価 |
|---|---|
| すべて人間が執筆 | 99.84% |
| AIによる軽微な支援 | 0.14% (700人に1人) |
| AIによる適度な支援 | 0.013%(7,500人に1人) |
| 完全にAIによって生成された | 0.0064%(1万5000人に1人) |
Pangramの有料会員の方は、AIアシスタント機能の検出がデフォルトで有効になっています。無料ユーザーの方は、7日間の無料トライアルに登録することで、期間限定でPangramのAIアシスタント機能をお試しいただけます。トライアル期間中は、利用制限の拡大、AIアシスタント機能の検出、盗用検出など、Pangramの有料機能がすべて利用可能になります。
無料ユーザーもPangram 3.0の検索結果を確認できますが、AI支援の検出機能はデフォルトでオフになっています。つまり、現時点では、無料ユーザーはAIによる支援が軽微なテキストを「人間によるもの」として、中程度の支援があるテキストを「AI生成」として表示されます。
完全に人間によって生成されたテキストと、完全にAIによって生成されたテキストは、明確な定義を持つ具体的なカテゴリーですが、今日生成されているテキストの多くは、どちらのカテゴリーにも当てはまりません。「軽度」と「中度」のAI支援の間の正確な境界線はどこにあるのでしょうか?プロンプトにおいて、人間がLLMにどれだけの情報を与えれば、出力に対する人間の影響力がAIの影響力を上回るようになるのでしょうか?
最終的には、パングラムの出力結果を各カテゴリーに対する我々の解釈に可能な限り近づけることで、これらの疑問に答えようとしています。しかし、共著という概念は連続的なものであり、これらのカテゴリー間の明確な境界線を定めることは、科学というよりはむしろ芸術に近いものであると理解しています。

マックスは経験豊富な機械学習エンジニアです。直近ではNuroで自動運転車の開発に携わり、同社のアクティブラーニングの取り組みを主導しました。Google、Two Sigma、Yelpでは、長年にわたり機械学習製品の導入を成功させてきました。
マックスはスタンフォード大学で理論計算機科学の学士号と人工知能の修士号を取得しています。ものづくりへの情熱に加え、彼は『マジック:ザ・ギャザリング』のキューブ・コミュニティでも活発に活動しています。





