Ampliando com LoRA

Foto de Tara Winstead.

No mês passado, lançámos o nosso relatório técnico, que comparou exaustivamente o nosso modelo com os nossos concorrentes, bem como com um método académico líder.

Hoje, anunciamos o lançamento de outro modelo que melhora ainda mais o nosso desempenho neste benchmark desafiante.

O que é responsável por essa melhoria?

Para produzir o novo modelo, utilizámos a mesma abordagem de aprendizagem ativa que utilizámos no nosso relatório técnico, Hard Negative Mining with Synthetic Mirrors. No entanto, para esta atualização de lançamento, aumentámos significativamente o nosso modelo, aumentando o número total de parâmetros no modelo em uma ordem de magnitude. Para isso, também tivemos que ampliar os recursos computacionais necessários para treinar o novo modelo e implementar a Low-Rank Adaptation (LoRA) – uma técnica comumente usada para ajustar com eficiência os LLMs. Este novo modelo também é o nosso primeiro lançamento de um modelo treinado nas novas GPUs H100 da NVIDIA!

Ampliar o modelo sem sobreajustar

Verificou-se que modelos menores funcionam melhor para o DetectGPT na deteção de texto gerado por IA, e já discutimos anteriormente a saturação das leis de escala no nosso relatório técnico. Em resumo, constatamos que adicionar mais dados não melhora o modelo após um limite crítico de dados (no nosso caso, cerca de 40 mil documentos).

Além disso, se você der uma olhada no ranking de outras tarefas de classificação de texto, como MTEB, análise de sentimento IMDB e AGNews, verá que o ranking ainda é dominado por modelos como XLNet, DeBERTa e T5-XXL. Embora esses modelos sejam arquiteturas comprovadas que funcionam bem em tarefas de classificação simples há anos, eles estão longe do tamanho dos modelos de linguagem de última geração atuais. Esses modelos do tipo BERT têm cerca de duzentos milhões de parâmetros, enquanto os principais LLMs de código aberto têm agora dezenas de milhares de milhões de parâmetros – uma diferença enorme!

A razão pela qual as arquiteturas do tipo LLM não se saem tão bem na classificação de texto é, em grande parte, porque elas se ajustam facilmente em excesso. Como podemos obter o melhor dos dois mundos: um modelo que tenha muito mais conhecimento «básico», como um LLM, mas que não se ajuste em excesso nas tarefas de classificação?

LoRA ao resgate

Na nossa versão mais recente, aproveitamos uma técnica relativamente comum para ajustar modelos de linguagem de grande porte, conhecida como LoRA.

Visualização das operações do tensor LoRA a partir do artigo original.

A ideia principal do LoRA é que, em vez de ajustar todo o modelo, o que (1) consome muito tempo e memória, (2) é muito propenso a sobreajuste e (3) pode causar esquecimento catastrófico dos dados de pré-treinamento, o LLM base é mantido no lugar e os módulos adaptadores são treinados como redes secundárias ao lado dos blocos de atenção principais do LLM. LoRA significa “Low-Rank Adaptation” (adaptação de baixa classificação), o que significa que os módulos adaptadores se decompõem perfeitamente em matrizes de pesos eficientes em termos de parâmetros, tornando-os muito rápidos de treinar e eficientes em termos de memória.

Esta figura do artigo LoRA explica bem a ideia. O LLM original é representado apenas pela matriz W azul. Os módulos laranja podem ser treinados, enquanto o módulo azul do LLM original fica simplesmente congelado no lugar, à medida que o módulo adaptador aprende a contorná-lo.

Constatamos que o LoRA ajuda significativamente o nosso desempenho, reduzindo as taxas de falsos positivos e falsos negativos.

A nossa hipótese é que a melhoria se deve, em grande parte, à maior quantidade de conhecimento pré-treinamento contido no LLM, que podemos aproveitar sem sobreajuste através da ideia do adaptador LoRA. Muito interessante!

Próximos passos

Continuaremos a fazer melhorias na arquitetura ao longo do tempo para nos mantermos atualizados com as melhores arquiteturas de deep learning disponíveis. Também temos melhorias adicionais na arquitetura e nos dados em desenvolvimento, mas primeiro é hora de criar um conjunto de avaliação ainda mais difícil!

Fique atento...

Quer entrar em contacto connosco? Envie-nos um e-mail para info@pangram.com!