簡単にまとめると
2,215件のプロンプトのうち、Pangram 4.1は、GPT-6.1 Solの出力において、高難度の推論では98.73%、中難度の推論では98.83%の精度を達成し、両設定を合わせた総合精度は98.78%となった。
GPT-6.1 Solは、2026年9月29日にOpenAIがリリースしたAIモデルです。OpenAIは、GPT-6.1 Solがコーディングやコンピュータ操作など、さまざまな業務関連タスクにおいて「Astraに匹敵する知能を5分の1の価格で」提供すると主張しています。 最近リリースされた他のモデルの多くとは異なり、OpenAIはGPT-6.1 Solの文章作成能力や明瞭性について一切言及していません。では、このモデルの文章は従来のモデルと同じようなものなのでしょうか？また、Pangramはそれを検出できるのでしょうか？
2,215件のサンプルプロンプトを用いてPangram 4.1の性能を検証したところ、Pangram 4.1はGPT-6.1 Solの出力を「人間によるもの」と6件、「混合」と21件、「完全なAI生成」と2,188件に分類し、GPT-6.1 Solに対して98.78%の精度を達成しました。
| モデル | 例 | 検出率 |
|---|---|---|
| GPT-6.1 Sol（高度な推論能力） | 1,105 | 98.73% |
| GPT-6.1 Sol（中程度の推論） | 1,110 | 98.83% |
ベンチマークセットを生成するために、LMSYSデータセット（Zheng et al., 2023）から1,200件の初回プロンプトを使用しました。次に、それらをGPT-6.1 Solに「中」および「高」の推論レベルで入力し、その出力をPangram 4.1で処理しました。
カテゴリー別結果
全体として、GPT-6.1 Solは、高度な推論に関する1,105件の回答のうち1.27%の偽陰性率を示し、中程度の推論に関する1,110件の回答のうち1.17%の偽陰性率を示した。全体として、中程度の推論と高度な推論の間で検出率に有意な差は認められなかった（p=0.85）。
高度な推論
GPT-6.1 Solの推論レベルを「高」に設定したところ、Pangram 4.1は3件の応答を「人間によるもの」、11件を「混合」、1,091件を「完全なAI生成」と分類し、98.73%のリコール率を達成した。
| カテゴリ | 例 | AI | 混合 | 人間 |
|---|---|---|---|---|
| 引数 | 64 | 64 | 0 | 0 |
| 電子メール／手紙 | 53 | 52 | 1 | 0 |
| エッセイ・記事 | 137 | 136 | 1 | 0 |
| 説明 | 481 | 477 | 3 | 1 |
| 詩やその他の創作作品 | 97 | 94 | 2 | 1 |
| ストーリー | 89 | 89 | 0 | 0 |
| プログラミングと数学 | 10 | 10 | 0 | 0 |
| ロールプレイとゲーム | 42 | 42 | 0 | 0 |
| その他 | 132 | 127 | 4 | 1 |
| 合計 | 1,105 | 1,091 | 11 | 3 |
中程度の推論
Reasoningの「中」レベルにおいて、パングラム4.1は3件の回答を「人間によるもの」、10件を「混合」、1,097件を「完全なAIによるもの」と分類し、98.83%のリコール率を達成しました。
| カテゴリ | 例 | AI | 混合 | 人間 |
|---|---|---|---|---|
| 引数 | 64 | 64 | 0 | 0 |
| 電子メール／手紙 | 55 | 55 | 0 | 0 |
| エッセイ・記事 | 138 | 137 | 1 | 0 |
| 説明 | 481 | 474 | 5 | 2 |
| 詩やその他の創作作品 | 99 | 96 | 2 | 1 |
| レビュー | 1 | 1 | 0 | 0 |
| ストーリー | 85 | 85 | 0 | 0 |
| プログラミングと数学 | 10 | 10 | 0 | 0 |
| ロールプレイとゲーム | 42 | 42 | 0 | 0 |
| その他 | 135 | 133 | 2 | 0 |
| 合計 | 1,110 | 1,097 | 10 | 3 |
「ソル」ってどう思う？
GPT-6.1 Solには独特な句読点のスタイルがあります。例えば、回答の74％でカーリーアポストロフィを使用しており、特に他の最近のモデルと比較すると、ストレートアポストロフィをほとんど使用しません。
| GPT-6.1 Sol | クロード・ハイク 5.5 | ジェミニ4 アルゴン | |
|---|---|---|---|
| カーリーアポストロフィ ’ | 73.9% | 0.0% | 9.1% |
| 単語の中に直アポストロフィ ' が入る場合 | 0.5% | 75.4% | 48.5% |
| カーリーダブルクォート “ ” | 39.0% | <0.1% | <0.1% |
また、このフォントは「emダッシュ」と「enダッシュ」の両方を好んで使用しており、1,000語あたり平均1.3個のemダッシュが使われています。これは、Haiku 5.5やGemini 4 Argonよりもはるかに多い数値です。
| GPT-6.1 Sol | クロード・ハイク 5.5 | ジェミニ4 アルゴン | |
|---|---|---|---|
| 長ダッシュで区切られた回答 — | 29.7% | 0.1% | 12.1% |
| 1,000語あたりの長ダッシュの数 | 1.32 | <0.01 | 0.85 |
| エンダッシュで区切られた回答 – | 11.4% | 0.4% | 0.4% |
創作において、GPT-6.1 Solにはいくつかの癖が見られた。女性キャラクターの名前として「Mara」または「Maya」を強く好んでおり（少なくともどちらかが65件の回答に登場した）、一般的にイニシャルを「M.V.」とし、特に姓として「Vale」を好む傾向があった（ただし、「Mara Velez」や「Mara Venn」も登場した）。 男性の名前については、GPT-6.1 Solが最も好んだのは「ダニエル」で、これを姓と組み合わせたのは2回のみだった（1回は「ヴェイル」、もう1回は「マーサー」と組み合わせた）。418件の創作回答のうち、GPT-6.1 Solは36回「最初の…」というフレーズで文章を始めており、これはそれぞれ11回と1回だった「Haiku」や「Gemini」よりもはるかに高い頻度である。
Solは23件のリクエストに対して回答を拒否し、さらに32件のリクエストについては部分的に拒否しました。部分的な拒否の場合、Solはリクエストされた内容よりも控えめな、あるいは異なるバージョンの回答を提示しました。こうした部分的な拒否の多くは、当社のプロンプトセットに、偶然にも挑発的な創作リクエストが含まれていたことに起因しています。Solはこれに対し、露骨な内容を書くことを避け、代わりに画面を黒くフェードアウトさせることで対応しました。
ソルは時折、非常に短い回答を書くことがあり、最高で95件が50語未満、中程度で90件が50語未満だった。ソルの回答のスコア付き中央値は300語で、その範囲は50語から10,513語までだった。
これまでのベンチマーク
Pangramは、自然言語プロンプトにおいてGPT-6.1 Solに対して堅牢であり、高難度の推論において98.73%の実測精度でこれを検出します。また、中程度の難度の推論においても98.83%の実測精度でGPT-6.1 Solを検出しており、両設定を合わせた検出数は2,215件中2,188件（98.78%）となっています。 Pangramは、新しいモデルが前身のスタイルや語り口を多く継承する傾向があるため、新しいモデルへの汎化が可能であり、新しいモデルがリリースされるたびに再学習を行う必要はありません。
GPT-6.1 Solが、他の最近の最先端モデルに関する当社のベンチマークとどのように比較されるかを以下に示します：
| モデル | AIとして検出されました | 正確性 |
|---|---|---|
| クロード・ハイク 5.5 | 1,179／1,183 | 99.66% |
| ジェミニ4 アルゴン | 1,159／1,174 | 98.72% |
| ジェミニ3.8フラッシュ | 998/1,000 | 99.80% |
| ジェミニ3.1プロ | 997/1,000 | 99.70% |
| クロード・ソネット 5.5 | 1,019/1,022 | 99.71% |
| クロード 作品5.5 | 997/1,000 | 99.70% |
| GPT-6 アストラ | 982/986 | 99.59% |
| フェイブル5.1 | 1,093/1,097 | 99.64% |
| クロード・オパス5 | 1,105/1,107 | 99.82% |
| GPT-5.6 | 3,408/3,423 | 99.56% |
| クロード・ソネット第5番 | 1,145/1,147 | 99.83% |
特定の文書を確認したい場合は、こちらのPangramを試してみてください。
