LoRAによるスケーリングアップ

写真：タラ・ウィンステッド

先月、当社は自社モデルを競合他社および主要な学術的手法と包括的に比較評価した技術報告書を発表しました。

本日、この困難なベンチマークにおける当社のパフォーマンスをさらに向上させる新たなモデルリリースを発表いたします。

この改善の原因は何でしょうか？

新モデルの開発にあたっては、技術報告書「合成ミラーを用いたハードネガティブマイニング」で採用したアクティブラーニング手法を継承しました。ただし今回のリリース更新では、モデルを大幅にスケールアップし、総パラメータ数を桁違いに増加させています。 これを実現するため、新モデルのトレーニングに必要な計算リソースも拡張し、LLMを効率的に微調整する一般的な手法である低ランク適応（LoRA）を実装しました。この新モデルは、NVIDIAの新型H100 GPUでトレーニングされたモデルとして当社初のリリースとなります！

過学習を起こさずにモデルをスケールアップする

より小規模なモデルがDetectGPTにおいてAI生成テキストの検出に効果的であることが判明しており、我々は技術報告書でスケーリング則の飽和について既に論じてきた。要約すると、データ量が臨界閾値（本研究では約4万文書）を超えると、データの追加はモデルの性能向上に寄与しないことが確認されている。

さらに、MTEB、IMDB感情分析、AGNewsなどの他のテキスト分類タスクのリーダーボードを見ると、XLNet、DeBERTa、T5-XXLといったモデルが依然として上位を占めていることがわかります。これらのモデルは長年、単純な分類タスクで良好な実績を上げてきた実績あるアーキテクチャですが、現在の最先端大規模言語モデルの規模には遠く及びません。 これらのBERT系モデルは約数億のパラメータ数であるのに対し、主要なオープンソースLLMは今や数百億のパラメータ数を誇っています——その差は圧倒的です！

LLMスタイルのアーキテクチャがテキスト分類であまり良い結果を出せない主な理由は、過学習を起こしやすい点にある。では、両方の長所を兼ね備えたモデル、つまりLLMのように豊富な「基礎」知識を持ちながら分類タスクで過学習を起こさないモデルを、どうすれば実現できるだろうか？

LoRAが救いの手を差し伸べる

最新リリースでは、大規模言語モデルの微調整に用いられる比較的一般的な手法であるLoRAを活用しています。

原論文におけるLoRAテンソル演算の可視化

LoRAの主な考え方は、モデル全体を微調整する代わりに（1）時間とメモリを大量に消費し、（2）過学習を起こしやすく、（3）事前学習データの壊滅的な忘却を引き起こす可能性があるため、ベースとなるLLMは固定したまま、アダプタモジュールをLLMの中核となるアテンションブロックと並行してサイドネットワークとして訓練することです。 LoRAは「低ランク適応」を意味し、アダプターモジュールがパラメータ効率の良い重み行列に分解されるため、学習が非常に高速でメモリ効率に優れている。

LoRA論文のこの図は、その概念をわかりやすく説明している。元のLLMは青いW行列のみで表される。オレンジ色のモジュールは学習を許可される一方、元のLLMの青いモジュールは単に固定されたままとなり、アダプターモジュールがその周囲を迂回する方法を学習する。

LoRAが偽陽性率と偽陰性率の両方を低減し、性能を大幅に向上させることが確認されました。

我々は、この改善は主にLLMに蓄積された事前学習知識の量が増加したことに起因すると仮説を立てる。LoRAアダプターという手法により、過学習を起こさずにこの知識を活用できるのだ。なかなかクールだ！

次のステップ

今後も最先端の深層学習アーキテクチャに遅れを取らないよう、継続的にアーキテクチャの改良を進めてまいります。さらに、追加のアーキテクチャおよびデータの改善も計画中ですが、まずはより厳格な評価セットの作成に取り掛かる時が来ました！

お楽しみに…

お問い合わせをご希望ですか？info@pangram.com までメールをお送りください！