基于LoRA的扩展

摄影：塔拉·温斯特德。

上个月，我们发布了技术报告，该报告全面对比了我们的模型与竞争对手以及领先的学术方法。

今天，我们宣布推出另一款模型版本，该版本在这一具有挑战性的基准测试中进一步提升了我们的性能表现。

	准确性	假阴性率	假阳性率
二月模特	99.0%	1.30%	0.67%
三月模型	99.84%	0.11%	0.19%

是什么促成了这种改善？

为构建新模型，我们沿用了技术报告《基于合成镜像的硬负样本挖掘》中的主动学习方法。但本次版本更新中，我们大幅扩展了模型规模，使模型总参数数量提升了一个数量级。 为此，我们不仅扩大了训练新模型所需的计算资源规模，还采用了低秩自适应（LoRA）技术——这是高效微调大型语言模型（LLM）的常用方法。值得一提的是，该模型是我们首次在NVIDIA全新H100 GPU上训练并发布的成果！

在避免过拟合的前提下扩展模型

研究发现，较小的模型在DetectGPT检测AI生成文本时效果更佳。我们在技术报告中曾探讨过规模扩展规律的饱和现象。简而言之，当数据量超过临界阈值（本案例中约为4万份文档）后，增加更多数据并不会提升模型性能。

此外，若观察其他文本分类任务（如MTEB、IMDB情感分析和AGNews）的排行榜，你会发现XLNet、DeBERTa和T5-XXL等模型仍占据主导地位。这些架构虽是经年累月在简单分类任务中表现优异的成熟方案，但其规模远不及当前顶尖的大型语言模型。 这类BERT风格模型参数规模约为数亿量级，而当前领先的开源大语言模型参数已达数十亿——差距悬殊！

大型语言模型架构在文本分类任务上表现欠佳，主要原因在于其容易过拟合。如何兼得两全其美：既拥有如大型语言模型般丰富的“基础”知识，又能在分类任务中避免过拟合？

LoRA来救场

在我们最新版本中，我们利用了一种名为LoRA的相对常见技术来对大型语言模型进行微调。

原始论文中LoRA张量运算的可视化展示。

LoRA的核心思想在于：与其对整个模型进行微调（这种方法（1）耗时耗内存，（2）极易过拟合，（3）可能导致预训练数据的灾难性遗忘），不如保留基础大语言模型（LLM）的结构，同时在LLM核心注意力块旁并行训练适配器模块作为辅助网络。 LoRA即"低秩适应"（Low-Rank Adaptation）的缩写，其适配器模块能高效分解为参数紧凑的权重矩阵——这使得训练过程极快且内存消耗极低。

这张来自LoRA论文的图很好地阐释了该理念。原始LLM仅由蓝色W矩阵表示。橙色模块可进行训练，而原始LLM的蓝色模块则被冻结固定，适配器模块通过学习绕过它来实现功能。

我们发现LoRA显著提升了我们的性能，同时降低了假阳性率和假阴性率。

我们推测这种提升主要源于大型语言模型中蕴含的预训练知识量更大，而通过LoRA适配器方案，我们得以在避免过拟合的前提下充分利用这些知识。相当酷！

下一步行动

我们将持续优化架构设计，以保持与业界顶尖深度学习架构的同步。此外，我们还有更多架构和数据改进方案正在推进中，但眼下首要任务是打造一套更严苛的评估数据集！

敬请期待……

想联系我们吗？请发送邮件至info@pangram.com！