AIで最も多用されるフレーズを巡る

先週お話ししたように、AIは特定の単語やフレーズを使いすぎる傾向があります。「～の証左」から「掘り下げる」まで、すぐに思い浮かぶものもあるでしょう。こうしたフレーズが頻繁に見られる場合、その文章がAIによって生成されたものである可能性が極めて高いと言えますが、その数は膨大すぎて、個人で全てを把握するのは不可能です。

この問題を解決するため、私たちは最近、「AIフレーズ」と呼ばれるツールを導入し、こうしたフレーズを特に目立たせるようにしました。このツールを開発する過程で、最も頻繁に使用されるAIフレーズの膨大なデータセットを構築しました。本記事では、そのデータセットに登場する代表的なAIフレーズをいくつか紹介し、それらを活用してAI生成テキストに対する自身の直感を研ぎ澄ます方法について解説します。

第1部：AIによる作品

まずは最も明白な点から始めましょう。AIが自ら「自分はAIです」と明かすことがあるのです！多くの場合、これは拒否応答の結果として起こります。ユーザーがAIに、実行しないよう指示されていることを求めた場合、AIはその要求には応じられないことをユーザーに伝えなければなりません。その一環として、モデルは自分がAIであることを認めることがよくあります。 AIによる拒否の多くは、「AI言語モデルとして……」というフレーズで始まります。したがって、この種のフレーズはAIが生成するテキストではかなり一般的ですが、人間が書いたテキストでは極めて稀であると言えます。そのことはデータも裏付けています！AIが頻繁に用いるフレーズの多くは、自己言及的なものなのです。

第2部：使い古されたフレーズ

「AIアーティファクト」は、AI関連の用語の中でも「最も多用されている」ものの一つですが、結局のところかなり明白な概念であり、それゆえあまり興味を引かないものです。さて、ここからが面白い部分です。AI関連の文章では確かに頻繁に登場しますが、「AIであること」とは何の関係もない表現について見ていきましょう。いくつか例を挙げてみます：

第3部：なぜAIは決まり文句を使いすぎるのか？

AIが「AIとして……」と言う表現が、AI生成のテキストでははるかに一般的である理由は容易に理解できます。しかし、パート2で見られる、一見無関係に見えるフレーズがなぜより一般的になっているのでしょうか？まず第一に、「モード崩壊」と呼ばれる現象があります。これは、AIの出力が確率の高い単語の並びに依存しすぎて、過度に一般的になったり、繰り返しが多くなったりする現象です。モード崩壊……

さらに、トレーニング終了後は、通常、RLHF（人間からのフィードバックを用いた強化学習）を行うのが一般的です。このプロセスでは、人間のアノテーターがAIが生成したテキストを複数の属性に基づいて評価し、特定のパターンを促進したり、他のパターンを抑制したりします。このプロセスを通じて、特定の発言やフレーズが人間のアノテーターから高評価を得やすい場合、それらはますます頻繁に現れるようになります。

その結果、こうした使い古された表現のいくつかは、単にAIによる文章生成そのものの特徴というよりも、特定のモデル、アーキテクチャ、および学習プロセスの特徴として捉えることができる。メリーランド大学のジェナ・ラッセル、マルゼナ・カルピンスカ、モヒット・アイヤーによる論文では、モデルによって実際に好まれる表現が異なることが示されている：

使い古された

このことは、異なるデータセットや最適化戦略を用いて学習されたモデルは、それぞれ独自のフレーズ反復の傾向を示す可能性があることを示唆している。

おまけ：チームのお気に入りN-グラム

私たちの業務の一環として、チームはAIが生成したテキストを読み、分析することに数え切れないほどの時間を費やしてきました。当然ながら、その中には特に親しみを感じるフレーズもいくつかあります：

私たちのチームが選んだお気に入りのAIフレーズはこちらです：

• マックス（CEO）：「絶えず変化し続ける」 (11,000倍)

• ブラッドリー（CTO）：「留意すべき点」（3,000回）

• Lu（創設エンジニア）：「複雑な性質」（6,000回）

• Elyas（創設エンジニア）：「活気あふれるタペストリー」（17,000回）