Expandir com LoRA

Foto de Tara Winstead.

No mês passado, publicámos o nosso relatório técnico, que comparou exaustivamente o nosso modelo com o da concorrência, bem como com um método académico de referência.

Hoje, anunciamos o lançamento de mais um modelo que melhora ainda mais o nosso desempenho neste exigente teste de desempenho.

O que está na origem desta melhoria?

Para desenvolver o novo modelo, utilizámos a mesma abordagem de aprendizagem ativa que empregámos no nosso relatório técnico, «Hard Negative Mining with Synthetic Mirrors». No entanto, para esta atualização, ampliamos significativamente o nosso modelo, aumentando o número total de parâmetros em uma ordem de magnitude. Para tal, tivemos também de ampliar os recursos computacionais necessários para treinar o novo modelo e implementar a Low-Rank Adaptation (LoRA) – uma técnica frequentemente utilizada para ajustar com eficiência os LLMs. Este novo modelo é também o nosso primeiro lançamento de um modelo treinado nas novas GPUs H100 da NVIDIA!

Ampliar o modelo sem sobreajuste

Verificou-se que os modelos de menor dimensão apresentam um melhor desempenho no DetectGPT na deteção de texto gerado por IA, e já abordámos anteriormente a saturação das leis de escala no nosso relatório técnico. Em resumo, constatamos que a adição de mais dados não melhora o modelo após um limiar crítico de dados (no nosso caso, cerca de 40 mil documentos).

Além disso, se der uma vista de olhos na tabela de classificação de outras tarefas de classificação de texto, como o MTEB, a análise de sentimentos do IMDB e o AGNews, verá que a tabela continua a ser dominada por modelos como o XLNet, o DeBERTa e o T5-XXL. Embora estes modelos sejam arquiteturas comprovadas que têm funcionado bem em tarefas simples de classificação há anos, estão muito longe de atingir a dimensão dos atuais modelos de linguagem de grande escala de ponta. Estes modelos do tipo BERT têm cerca de algumas centenas de milhões de parâmetros, enquanto os principais LLMs de código aberto têm agora dezenas de milhares de milhões de parâmetros – uma diferença enorme!

A razão pela qual as arquiteturas do tipo LLM não têm um desempenho tão bom na classificação de texto deve-se, em grande parte, ao facto de se sujeitarem facilmente ao sobreajuste. Como podemos obter o melhor dos dois mundos: um modelo que possua muito mais conhecimento «básico», tal como um LLM, mas que não sofra de sobreajuste em tarefas de classificação?

LoRA ao resgate

Na nossa versão mais recente, recorremos a uma técnica relativamente comum para o ajuste fino de modelos de linguagem de grande dimensão, conhecida como LoRA.

Visualização das operações do tensor LoRA, conforme o artigo original.

A ideia principal do LoRA é que, em vez de ajustar com precisão todo o modelo — o que (1) consome muito tempo e memória, (2) é muito propenso ao sobreajuste e (3) pode causar um esquecimento catastrófico dos dados de pré-treino —, o LLM de base é mantido inalterado e os módulos adaptadores são treinados como redes secundárias, a par dos blocos de atenção centrais do LLM. LoRA significa «Low-Rank Adaptation» (Adaptação de Baixa Classificação), o que significa que os módulos adaptadores se decompõem facilmente em matrizes de pesos eficientes em termos de parâmetros – tornando-os muito rápidos de treinar e eficientes em termos de memória.

Esta figura do artigo sobre LoRA explica bem a ideia. O LLM original é representado apenas pela matriz W azul. Os módulos laranja podem ser treinados, enquanto o módulo azul do LLM original fica simplesmente congelado, à medida que o módulo adaptador aprende a contorná-lo.

Constatamos que o LoRA contribui significativamente para o nosso desempenho, reduzindo tanto as taxas de falsos positivos como as de falsos negativos.

A nossa hipótese é que a melhoria se deve, em grande parte, à maior quantidade de conhecimento pré-treino contido no LLM, que conseguimos aproveitar sem sobreajuste através do conceito do adaptador LoRA. É fantástico!

Próximos passos

Continuaremos a introduzir melhorias na arquitetura ao longo do tempo, para nos mantermos a par das melhores arquiteturas de aprendizagem profunda existentes. Temos também outras melhorias arquitetónicas e de dados em preparação, mas, antes de mais, é hora de criar um conjunto de avaliação ainda mais exigente!

Fiquem atentos…

Quer entrar em contacto connosco? Envie-nos um e-mail para info@pangram.com!