LoRAを活用したスケールアップ

写真：タラ・ウィンステッド

先月、当社は自社のモデルを競合他社および主要な学術的手法と比較した包括的なベンチマーク結果をまとめた技術レポートを発表しました。

本日、この難易度の高いベンチマークにおける当社のパフォーマンスをさらに向上させる新モデルを発表いたします。

この改善の要因は何でしょうか？

この新しいモデルを作成するために、我々は技術レポート『Hard Negative Mining with Synthetic Mirrors』で採用したのと同じアクティブラーニング手法を用いました。しかし、今回のリリースアップデートでは、モデルを大幅に拡張し、モデルの総パラメータ数を1桁増やしました。 これを実現するため、新モデルのトレーニングに必要な計算リソースも拡張するとともに、LLMの効率的な微調整に広く用いられている手法である「Low-Rank Adaptation（LoRA）」を実装しました。また、この新モデルは、NVIDIAの新型GPU「H100」でトレーニングされたモデルとして、当社初のリリースとなります！

過学習を起こさずにモデルの規模を拡大する

DetectGPTにおいて、AI生成テキストの検出には小型モデルの方が優れた性能を発揮することが判明しており、スケーリング則の飽和現象については、以前の技術報告書で論じた通りです。要約すると、データの量が一定の閾値（本研究では約4万件）を超えると、それ以上のデータを追加してもモデルの性能は向上しないことが分かりました。

さらに、MTEB、IMDB感情分析、AGNewsといった他のテキスト分類タスクのリーダーボードを見てみると、依然としてXLNet、DeBERTa、T5-XXLといったモデルが上位を占めていることがわかります。これらのモデルは、長年にわたり単純な分類タスクで良好な性能を発揮してきた実績あるアーキテクチャですが、現在の最先端の大規模言語モデル（LLM）の規模には到底及びません。 これらのBERT系モデルのパラメータ数は数億程度であるのに対し、最先端のオープンソースLLMは現在、数百億ものパラメータを有しています。これは圧倒的な差です！

LLMスタイルのアーキテクチャがテキスト分類においてあまり良い結果を出せない主な理由は、過学習を起こしやすいことにある。では、LLMのように豊富な「基礎」知識を持ちつつ、分類タスクでは過学習を起こさないという、両方の長所を兼ね備えたモデルをどうすれば実現できるだろうか？

LoRAが救世主

今回の最新リリースでは、大規模言語モデルの微調整に広く用いられている「LoRA」と呼ばれる手法を採用しています。

原論文におけるLoRAテンソル演算の可視化。

LoRAの主な考え方は、(1) 多くの時間とメモリを消費し、(2) 過学習を起こしやすく、(3) 事前学習データの「壊滅的な忘却」を引き起こす可能性があるモデル全体の微調整を行うのではなく、ベースとなるLLMをそのまま維持し、アダプターモジュールをLLMの中核となるアテンションブロックと並行してサイドネットワークとして学習させるというものです。 LoRAは「Low-Rank Adaptation（低ランク適応）」の略であり、これはアダプターモジュールがパラメータ効率の良い重み行列にうまく分解されることを意味します。これにより、トレーニングが非常に高速で、メモリ効率も高くなります。

LoRAの論文に掲載されているこの図は、その考え方をわかりやすく説明しています。元のLLMは青いW行列のみで表現されています。オレンジ色のモジュールは学習が可能ですが、元のLLMの青いモジュールは単に固定されたままとなり、アダプターモジュールはそのモジュールを迂回する方法を学習します。

LoRAを導入することで、性能が大幅に向上し、偽陽性率と偽陰性率の両方が低下することが確認された。

この改善は、主にLLMに蓄積された事前学習知識の量が増えたことに起因すると我々は推測している。LoRAアダプターの仕組みを用いることで、過学習を起こすことなく、その知識を活用することが可能になるのだ。なかなかすごい！

今後の手順

今後も、最新の最先端ディープラーニングアーキテクチャに対応できるよう、アーキテクチャの改善を継続して行っていきます。さらに、アーキテクチャやデータに関するその他の改善も計画中ですが、まずは、より難易度の高い評価セットを作成する段階です！

お楽しみに…

お問い合わせは、info@pangram.com までメールをお送りください！