借助LoRA实现规模扩展

照片由塔拉·温斯特德拍摄。

上个月，我们发布了一份技术报告，该报告对我们的模型与竞争对手以及一种领先的学术方法进行了全面的对比评估。

今天，我们宣布推出另一款新机型，它将进一步提升我们在这一高难度基准测试中的表现。

是什么导致了这种改善？

为了构建新模型，我们采用了与技术报告《利用合成镜像进行硬负样本挖掘》中相同的主动学习方法。不过，在本次版本更新中，我们大幅扩展了模型规模，使模型的总参数数量增加了十倍。 为此，我们不仅需要相应增加训练新模型所需的计算资源，还实施了低秩适应（LoRA）——这是一种用于高效微调大型语言模型（LLMs）的常用技术。此外，该新模型也是我们首个在NVIDIA全新H100 GPU上训练完成的模型！

在不发生过拟合的情况下扩展模型

研究发现，对于DetectGPT而言，较小的模型在检测AI生成的文本方面表现更佳，我们此前已在技术报告中讨论过规模定律的饱和现象。简而言之，我们发现当数据量超过某个临界阈值（在本研究中约为4万份文档）后，增加更多数据并不会进一步提升模型性能。

此外，如果你查看其他文本分类任务（如MTEB、IMDB情感分析和AGNews）的排行榜，你会发现排行榜上仍然被XLNet、DeBERTa和T5-XXL等模型所主导。虽然这些模型是经过验证的成熟架构，多年来在简单的分类任务中表现优异，但它们的规模远不及当前最先进的大型语言模型。 这些BERT风格的模型参数数量约为两亿左右，而当前领先的开源大型语言模型（LLM）已拥有数百亿参数——两者差距巨大！

大型语言模型（LLM）风格的架构在文本分类任务中表现不佳，主要原因在于它们容易过拟合。我们如何才能兼得两全其美：既拥有像大型语言模型那样丰富的“基础”知识，又不会在分类任务中过拟合？

LoRA 来救场了

在我们的最新版本中，我们采用了一种用于微调大型语言模型的相对常见的技术，即LoRA。

原论文中LoRA张量运算的可视化展示。

LoRA 的核心思想在于：与其对整个模型进行微调（这（1）耗时且占用大量内存，（2）极易过拟合，（3）可能导致预训练数据的灾难性遗忘），不如保留基础 LLM 不变，同时将适配器模块作为辅助网络，与 LLM 的核心注意力块并行训练。 LoRA 代表“低秩适配”（Low-Rank Adaptation），这意味着适配器模块可以很好地分解为参数高效的权重矩阵——从而使其训练速度极快且内存利用率高。

这张来自LoRA论文的图很好地阐释了这一思路。原始的大型语言模型（LLM）仅由蓝色的W矩阵表示。允许橙色的模块进行训练，而原始LLM中的蓝色模块则被完全冻结，适配器模块则学会绕过它进行学习。

我们发现，LoRA 显著提升了我们的模型性能，既降低了假阳性率，也降低了假阴性率。

我们推测，这种改进主要归因于大型语言模型（LLM）中蕴含的预训练知识更为丰富，而借助LoRA适配器这一思路，我们能够充分利用这些知识，同时避免过拟合。真是太棒了！

下一步

我们将持续优化架构，以跟上当前最先进的深度学习架构的发展步伐。此外，我们还有更多架构和数据方面的改进计划正在筹备中，但眼下当务之急是构建一套难度更高的评估数据集！

敬请期待……

想联系我们吗？请发送电子邮件至info@pangram.com！