AI検出ツールはGPT-4.5を見破れるのか？

AI検出ツールはGPT-4.5を見抜けるか？ | Pangram Labs

GPT-4.5がリリースされました

本日、OpenAIはGPT-4.5を公開しました。これは現在利用可能な最新かつ最大規模の最先端言語モデルであり、ChatGPTにとって重要なアップデートとなります。DeepSeek R1やOpenAI O3といった推論モデルに匹敵するベンチマーク数値は達成できていませんが、GPT-4.5は今年に入ってから最も大規模かつ期待されていたモデルのリリースであり、私たちも早速試してみるのを楽しみにしています。 OpenAIは文章の質が大幅に向上したと主張しており、その性能に関する熱い議論がすでにソーシャルメディア上で飛び交っています。

AI検出ツールは、新しいモデルの登場ペースについていけるのか？

多くの人が抱く疑問、「モデルの性能が向上するにつれ、GPT-4.5でもAI生成テキストを見分けられるのか？」に答えたいと考えました。そこで、その答えを探るため、本日簡単なテストを実施しました。

パングラム対他社

まず、ChatGPTに尋ねるような日常的なライティングタスクを代表する11のプロンプトを抽出して分析しました。

以下が、私たちが使用したプロンプトです：

1. ペルーにおけるコアラの保護活動について、300語程度のエッセイを書いてください
2. 私の新聞でのリベラル寄りの論説を終了することについて、私のチームに説明するメールを作成してください。差出人を「アーガイル・J・バギンズ」とし、宛先を「ワシントン・モスト」のスタッフ宛としてください。
3. 世界初の常温半導体（今回はマジで）を発表する400語の要約を書いてください。必要に応じて、名前や研究所名はでっち上げてください
4. 小学生の視点から、学校での制服着用を義務化すべきではないという説得力のある小論文を書きなさい
5. 詩や窓の外の蝶に興味を持つ12歳の少女が、複雑な心境を綴った日記を書いてください
6. メリーランド州ボルチモアにある『アラビアン・ナイト』をテーマにした脱出ゲームについて、ロバートという名のスタッフが担当し、セットデザインが素晴らしいという点を踏まえて、詳細なレビューを書いてください
7. ロシア発のアンダーグラウンド・インディーズ映画のヒット作の監督が、制裁下にあってもコンペティションへの参加を認めてほしいと、アカデミー賞の幹部たちに懇願する説得力のあるメールを作成してください。必要であれば、詳細を創作しても構いません
8. 小説の一場面として、若者の主人公たちが、意図的に失敗するように設計されたNASAのシミュレーションの中で、火星用の装甲航空機を着陸させようと苦闘する様子を描いた創作小説を書きなさい
9. ニューヨークの金融業界で働く金欠の男が、フロリダのUberドライバーに遠隔で懇願し、ハリケーン被害を受けやすい安アパートから自分のコモドオオトカゲを救い出してもらうという映画のシーンの脚本を書いてください
10. ハロウィンの夜、仮装をした若いカップルが別れる様子を描いた詩を書いてください。ユーモアを交えて、200語以内で。
11. ヴェネツィアを舞台に、危うく揺れ動く貴重な絵画を追って、ホバーバイクによる追跡劇を描く創作小説を書いてください

プロンプトは可能な限り多様で幅広いものにするよう努めたほか、以前のGPTモデルとは質的に大きな違いが際立つようなプロンプトを作成するよう心がけました。つまり、モデルが創造性を発揮し、「驚き」の要素を見せられる機会があれば、GPT-4.5にその機会を最大限に与えるよう最善を尽くしたのです。

結果 – AI検出ツール対GPT-4.5

Pangramは、トレーニングセットにGPT-4.5のデータが一切含まれていなくても、GPT-4.5によって書かれた11編のエッセイすべてを検出することができました。 これに対し、主要なAI検出競合製品2社は、せいぜい不安定な結果しか示せない。Pangramは11件のサンプルのうち10件について、98%以上の確率でAI生成であると確信を持って予測できるのに対し、競合製品はしばしば高い不確実性を示したり、最悪の場合、そのテキストが人間によって生成されたものであると高い確信を持って予測したりする。

なぜパングラムは新しいモデルに対してこれほどうまく一般化できるのでしょうか？

Pangramは、人間およびAIが生成したテキストの何百万もの例を学習した大規模な機械学習モデルそのものです。大規模なモデルは一般化能力に優れており、他のモデルでは捉えきれないAI生成テキストの微妙なパターンも検出することができます。 当社のアクティブラーニングアプローチは、感度を高めつつ誤検知率をさらに低減させるため、モデルは大規模な環境でも良好に動作し、競合他社よりもはるかに効果的に新しいLLMへ汎化することができます。さらに、データの品質と多様性に重点を置くことで、他のモデルでは捉えきれない微細な詳細を理解する能力において、はるかに豊富な経験を持つモデルを実現しています。

結論 – AI検出ツールはGPT-4.5に対してもまだ有効なのか？

はい、当社のAI検出ツールは、GPT-4.5によって生成されたテキストの検出において、依然として高い効果を発揮しています。

もし、より高性能で優れた新型モデルが登場した際にPangramがどれほど通用するのかと懸念されているなら、Pangramは再学習を一切行わずに、ここしばらくで最も注目されているAIモデルのテストをクリアしています。OpenAIがモデルを更新した際に、AI検出ソフトが突然機能しなくなるのを避けたいなら、今すぐPangramをお試しください。

当社の研究に関する詳細情報、またはGPT-4.5で当社のモデルをお試しいただける無料クレジットについては、info@pangram.com までお問い合わせください。