なぜパングラムには最小単語数があるのですか？

パングラムのテキストモデルは、市場で最も正確なAI検出器です。ただし、予測を行うには最低50語が必要です。なぜでしょうか？

「delve」という単語を例に取ろう。データセットの統計によれば、AI生成文では「delve」の使用頻度が人間による文章の約15倍に達した。しかし「delve」という単語自体は、誰が書いてもおかしくない。人間である私（本当です）が今まさに書いた：delve！

パングラムのモデルはこの差異を理解できる。実際、特定のテキスト内のどの単語に焦点を当てるかだけでなく、むしろ単語が使用される文脈に重点を置いている。

仕組み

例えば、私は今この文を書いたが、そこには「delve」という単語が含まれている。しかしPangramはこれを「human」とラベル付けする。

『グレート・ギャツビー』を読むのが本当に楽しみなんです！この小説は史上最も人気のあるアメリカの書籍の一つだと聞いていて、だからこそ深く読み込む機会にとても興味があります。両親や先生、友達が皆絶賛していて、私は彼らの意見をとても信頼しているんです！

パングラム検出済み（人間）

パングラムは、このテキストが人間によって書かれたものであると強く確信している。

次に、ChatGPTに『グレート・ギャツビー』を読むのが楽しみな理由について数文書いてほしいと依頼しました（単語「delve」を含めるように）。以下がその回答です。

『グレート・ギャツビー』を読むのが楽しみです。なぜなら、この作品は狂騒の20年代の華やかさと幻滅に深く迫る機会を与えてくれるからです。フィッツジェラルドが、あの象徴的な登場人物たちを通して、野心や愛、そしてアメリカン・ドリームをどのように描いているのか、とても興味があります。特に、詩的な文章を体験し、ギャツビーの謎めいた人生の奥に潜む深い意味を解き明かすことに、強い期待を寄せています。

パングラム検出AI

ここで、PangramはテキストがAI生成であると強く確信していると述べています。

もちろん、これらのテキストには多くの違いがあり、パングラムのモデルはそれらを基にAIか人間かを判断します。両方のサンプルでAIによく使われる単語「delve」が使われていますが、その単語がどのように、いつ使われるかという文脈が重要です。もしパングラムが「delve」の周囲の数語しか見られなかったら、私たちは見分けがつかないでしょう。あなたなら見分けられますか？

「深く掘り下げる機会」

「この件について掘り下げる機会」

それに対して私たちが取る行動

文脈の必要性から、パングラムは最低50語の長さを義務付けています。これにより、モデルが信頼できる予測を行うのに十分な文脈を確保できます。

当社のモデル、精度、パフォーマンスについて詳しく知りたいですか？こちらのページをご覧ください！