パングラムはジェミニ4号のアルゴンを検知できるだろうか？

Gemini 4 Argonは、2026年10月13日にリリースされたGoogleの最新AIモデルです。Googleによると、Gemini 4 Argonはチャットではなく、複雑で多段階のタスクを処理するために開発されたものであり、その文章は明快で、従来のモデルに比べて曖昧な表現が少ないとのことです。

こうした文章スタイルの変更があっても、Pangramは依然としてそれを検出できるのでしょうか？ 2,341件のサンプルプロンプトを用いてPangram 4.1の性能をテストしたところ、Pangram 4.1はGemini 4 Argonの出力を16件を「人間によるもの」、7件を「混合」、2,318件を「完全にAI生成」と分類し、Gemini 4 Argonに対する精度は99.02%を達成しました。

ベンチマークセットを生成するために、LMSYS-Chat-1Mデータセット（Zheng et al., 2023）から1,200件の初回プロンプトを使用しました。次に、それらをGemini 4 Argonに「中」および「高」の推論レベルで入力し、その出力をPangram 4.1で処理しました。

カテゴリー別結果

全体として、Gemini 4 Argonは、高度な推論に関する1,174件の回答のうち1.28%の偽陰性率を示し、中程度の推論に関する1,167件の回答のうち0.69%の偽陰性率を示した。全体として、中程度の推論と高度な推論の間で検出率に有意な差は認められなかった（p=0.21）。

高度な推論

Gemini 4 Argonの推論レベルを「高」に設定したところ、Pangram 4.1は11件の回答を「人間によるもの」、4件を「混合」、1,159件を「完全なAIによるもの」と分類し、98.72%のリコール率を達成した。

中程度の推論

Reasoningの「中」レベルにおいて、パングラム4.1は5件の回答を「人間によるもの」、3件を「混合」、1,159件を「完全なAIによるもの」と分類し、99.31%のリコール率を達成しました。

ジェミニ4号「アルゴン」はどのように記録するのでしょうか？

Googleは、Gemini 4 Argonは曖昧な表現を控え、より直接的な表現を用いると主張している。これを大まかに検証するため、Hyland (2005) から抽出した101の曖昧な表現を含む単語セットを用い、それらの単語の出現頻度を、Haiku（1,000語あたり7.0）およびGPT-6.1 Sol（1,000語あたり7.5）との出現頻度と比較した。

以下に、今回使用したヘッジ語の一覧を示します：

について、ほぼ、一見、どうやら、見える、見えた、見える、およそ、主張する、主張した、主張する、あたり、仮定する、仮定した、大まかに、ある程度の、ある程度の範囲、ある程度のレベル、主張する、主張した、主張する、～かもしれない、～できなかった、疑う、疑わしい、本質的に、推定する、推定した、かなり、感じる、感じる、感じた、頻繁に、私の観点から、私たちの観点から、この観点から、一般的に、 推測する、示唆する、示唆した、示唆している、概して、ほとんどの場合、多くの事例において、私の意見では、私の見解では、この見解では、我々の意見では、我々の見解では、主に、おそらく、主に、～かもしれない、たぶん、～かもしれない、大部分、しばしば、全体として、～すべき、おそらく、もっともらしい、もっともらしいように、可能、おそらく、仮定する、仮定した、仮定する、推定される、推定されるように、ありそう、おそらく、かなり、むしろx、比較的、 おおよそ、～のようだ、～すべき、時々、多少、示唆する、示唆した、示唆する、仮定する、仮定した、仮定する、疑う、疑う、～する傾向がある、～する傾向があった、～する傾向がある、私の知る限り、典型的、典型的に、不確実、不確実な、不明確、不明確に、ありそうもない、通常、～するだろう、～しないだろう

Gemini 4 Argonは、1,000語あたりで測定した場合、Haikuよりも51％、Solよりも54％少ないヘッジ語を使用していました。 面白いことに、一般的にモデルは人間よりもはるかに頻繁にヘッジ語を使用する傾向があるにもかかわらず、この単語リストはPangram 4.1によって完全に人間によるものと検出されました。また、遊び半分でChatGPTにこのリストを好きな順序に並べ替えるよう依頼したところ、そのリストも完全に人間によるものと検出されました。

Gemini 4 Argonは、これら3つのモデルのうち最も長い回答を示し、中央値は447語（中程度の推論：418語、高度な推論：447語）であったのに対し、Haikuは371語、Solは313語であった。 また、Geminiは2,400件のリクエスト全体で31件のプロンプトへの回答を拒否し、さらにGoogleのフィルターによってブロックされたリクエストが3件あったのに対し、Haikuは35件、Solは23件の拒否があった。

これまでのベンチマーク

Pangramは、自然言語プロンプトにおけるGemini 4 Argonに対して堅牢であり、高難度の推論において98.72%の実測精度でこれを検出します。また、中程度の難度の推論においても99.31%の実測精度でGemini 4 Argonを検出しており、両設定を合わせた2,341件中2,318件（99.02%）を検出しています。 Pangramは、新しいモデルが先行モデルのスタイルやトーンの多くを継承する傾向があるため、新しいモデルへの汎化が可能であり、新しいモデルがリリースされるたびにPangramを再学習させる必要はありません。

Gemini 4 Argonが、他の最近の最先端モデルに関する当社のベンチマークとどのように比較されるかを以下に示します：

特定の文書を確認したい場合は、こちらのPangramを試してみてください。