なぜパングラムには最低文字数があるのですか？

Pangramのテキストモデルは、市場で最も精度の高いAI検出ツールです。ただし、予測を行うには少なくとも50語が必要です。なぜでしょうか？

「delve」という単語を例に挙げてみましょう。データセットの統計によると、「delve」という単語は、AIによる文章では人間による文章に比べて約15倍も頻繁に使用されていました。しかし、この単語だけなら、誰にでも書けるものです。私、人間（本当ですよ）が今、ここに書いてみました：delve！

パングラムのモデルはこの違いを理解することができます。実際、このモデルは、特定のテキストに含まれる単語そのものだけでなく、むしろ単語が使用される文脈に重点を置いています。

仕組み

例えば、私は今、「delve」という単語を含むこの文を書いたばかりですが、パングラムはこれを「human」と判定しました：

「実は『グレート・ギャツビー』を読むのがすごく楽しみです！『グレート・ギャツビー』は史上最も人気のあるアメリカ文学の一つだと聞いています。だからこそ、この小説をじっくり読み込む機会を得られて、本当に興味津々です。両親や先生、友達もこぞって絶賛していますし、私は彼らの意見をとても信頼しています！」

パングラムが検出されました（人間）

パングラム社は、このテキストが人間によって書かれたものであると強く確信していると述べている。

次に、ChatGPTに『グレート・ギャツビー』を読むのがなぜ楽しみなのかについて、数文書いてもらうよう依頼しました（その際、「delve」という単語を含めるよう指定しました）。以下がその回答です

「『グレート・ギャツビー』を読むのが楽しみです。この作品を通じて、『狂騒の20年代』の華やかさと幻滅の世界に深く浸ることができるからです。フィッツジェラルドが、あの象徴的な登場人物たちを通して、野心や愛、そしてアメリカン・ドリームをどのように描いているのか、とても興味があります。とりわけ、その詩的な文章を味わうこと、そしてギャツビーの謎めいた人生の奥底に隠された深い意味を解き明かすことを楽しみにしています。」

AIが検出したパングラム

ここで、パングラム社は、このテキストがAIによるものであると確信していると述べている。

もちろん、パングラム（Pangram）のモデルがAIか人間かを判別するために使用するこれらのテキストには、多くの違いがあります。どちらのサンプルも、AIによく使われる単語「delve」を含んでいますが、その単語がどのような文脈で、いつ使われているかが極めて重要です。もしパングラムが「delve」の周辺の数語しか確認できないとしたら、私たちには見分けがつかないでしょう。あなたならどうですか？

「～について深く掘り下げる機会」

「これを深く掘り下げる機会」

それに対して私たちが取る対応

文脈が必要であるため、Pangramでは最低50語という文字数制限を設けています。これにより、モデルが信頼できる予測を行うのに十分な文脈を確保できるようになります。

当社のモデル、精度、および性能について詳しく知りたい方は、こちらのページをご覧ください！