Ampliación con LoRA

Foto de Tara Winstead.

El mes pasado, publicamos nuestro informe técnico, en el que se compara exhaustivamente nuestro modelo con el de la competencia y con un método académico líder.

Hoy anunciamos el lanzamiento de otro modelo que mejora aún más nuestro rendimiento en este exigente punto de referencia.

¿A qué se debe esta mejora?

Para crear el nuevo modelo, utilizamos el mismo enfoque de aprendizaje activo que empleamos en nuestro informe técnico, Hard Negative Mining with Synthetic Mirrors. Sin embargo, para esta actualización, ampliamos considerablemente nuestro modelo, aumentando el número total de parámetros en el modelo en un orden de magnitud. Para ello, también tuvimos que ampliar los recursos informáticos necesarios para entrenar el nuevo modelo e implementar la adaptación de rango bajo (LoRA), una técnica muy utilizada para ajustar de forma eficiente los LLM. Este nuevo modelo es también nuestro primer lanzamiento de un modelo entrenado con las nuevas GPU H100 de NVIDIA.

Ampliar el modelo sin sobreajustarlo

Se ha descubierto que los modelos más pequeños funcionan mejor para DetectGPT a la hora de detectar texto generado por IA, y ya hemos hablado anteriormente de la saturación de las leyes de escalado en nuestro informe técnico. En resumen, hemos descubierto que añadir más datos no mejora el modelo una vez superado un umbral crítico de datos (en nuestro caso, alrededor de 40 000 documentos).

Además, si echas un vistazo a la tabla de clasificación de otras tareas de clasificación de texto, como MTEB, análisis de sentimientos de IMDB y AGNews, verás que la tabla sigue estando dominada por modelos como XLNet, DeBERTa y T5-XXL. Aunque estos modelos son arquitecturas probadas y fiables que han funcionado bien en tareas de clasificación sencillas durante años, no se acercan ni de lejos al tamaño de los grandes modelos lingüísticos actuales. Estos modelos de estilo BERT tienen alrededor de doscientos millones de parámetros, mientras que los principales LLM de código abierto tienen ahora decenas de miles de millones de parámetros, ¡una diferencia enorme!

La razón por la que las arquitecturas de estilo LLM no funcionan tan bien en la clasificación de textos se debe en gran medida a que se sobreajustan fácilmente. ¿Cómo podemos obtener lo mejor de ambos mundos: un modelo que tenga mucho más conocimiento «básico» como un LLM, pero que no se sobreajuste en las tareas de clasificación?

LoRA al rescate

En nuestra última versión, aprovechamos una técnica relativamente común para ajustar modelos lingüísticos de gran tamaño conocida como LoRA.

Visualización de las operaciones del tensor LoRA a partir del artículo original.

La idea principal de LoRA es que, en lugar de ajustar todo el modelo, lo que (1) requiere mucho tiempo y memoria, (2) es muy propenso al sobreajuste y (3) puede provocar un olvido catastrófico de los datos de preentrenamiento, se mantiene el LLM base y se entrenan los módulos adaptadores como redes secundarias junto con los bloques de atención centrales del LLM. LoRA significa «Low-Rank Adaptation» (adaptación de bajo rango), lo que significa que los módulos adaptadores se descomponen perfectamente en matrices de pesos eficientes en términos de parámetros, lo que los hace muy rápidos de entrenar y eficientes en términos de memoria.

Esta figura del artículo sobre LoRA explica muy bien la idea. El LLM original está representado únicamente por la matriz W azul. Los módulos naranjas pueden entrenarse, mientras que el módulo azul del LLM original simplemente se congela en su lugar mientras el módulo adaptador aprende a sortearlo.

Hemos comprobado que LoRA mejora significativamente nuestro rendimiento, reduciendo tanto las tasas de falsos positivos como las de falsos negativos.

Nuestra hipótesis es que la mejora se debe en gran medida a la mayor cantidad de conocimientos previos al entrenamiento que contiene el LLM, que podemos aprovechar sin sobreajustar gracias a la idea del adaptador LoRA. ¡Genial!

Próximos pasos

Seguiremos realizando mejoras arquitectónicas a lo largo del tiempo para mantenernos al día con las mejores arquitecturas de aprendizaje profundo que existen. También tenemos previstas otras mejoras arquitectónicas y de datos, pero primero es hora de crear un conjunto de evaluación aún más difícil.

Estén atentos...

¿Quieres ponerte en contacto con nosotros? ¡Envíanos un correo electrónico a info@pangram.com!