Ampliación con LoRA

Foto de Tara Winstead.

El mes pasado publicamos nuestro informe técnico, en el que se comparaba exhaustivamente nuestro modelo con el de la competencia y con un método académico de referencia.

Hoy anunciamos el lanzamiento de otro modelo que mejora aún más nuestro rendimiento en esta exigente prueba de rendimiento.

¿A qué se debe esta mejora?

Para desarrollar el nuevo modelo, hemos utilizado el mismo enfoque de aprendizaje activo que empleamos en nuestro informe técnico, «Hard Negative Mining with Synthetic Mirrors». Sin embargo, para esta actualización, hemos ampliado considerablemente nuestro modelo, aumentando el número total de parámetros en un orden de magnitud. Para ello, también tuvimos que ampliar los recursos de computación necesarios para entrenar el nuevo modelo e implementar la adaptación de rango bajo (LoRA), una técnica de uso común para ajustar con precisión y de forma eficiente los modelos de lenguaje a gran escala (LLM). ¡Este nuevo modelo es también nuestro primer lanzamiento de un modelo entrenado en las nuevas GPU H100 de NVIDIA!

Ampliar el modelo sin sobreajuste

Se ha comprobado que los modelos más pequeños funcionan mejor con DetectGPT a la hora de detectar texto generado por IA, y ya hemos abordado anteriormente la saturación de las leyes de escalabilidad en nuestro informe técnico. En resumen, hemos constatado que añadir más datos no mejora el modelo una vez superado un umbral crítico de datos (en nuestro caso, alrededor de 40 000 documentos).

Además, si echas un vistazo a la tabla de clasificación de otras tareas de clasificación de texto, como MTEB, el análisis de opiniones de IMDB y AGNews, verás que sigue estando dominada por modelos como XLNet, DeBERTa y T5-XXL. Aunque estos modelos son arquitecturas probadas y fiables que han funcionado bien en tareas de clasificación sencillas durante años, su tamaño no se acerca ni de lejos al de los modelos de lenguaje a gran escala de vanguardia actuales. Estos modelos de estilo BERT tienen alrededor de doscientos millones de parámetros, mientras que los principales LLM de código abierto cuentan ahora con decenas de miles de millones de parámetros: ¡una diferencia enorme!

La razón por la que las arquitecturas de tipo LLM no obtienen tan buenos resultados en la clasificación de textos se debe, en gran medida, a que tienden a sobreajustarse con facilidad. ¿Cómo podemos conseguir lo mejor de ambos mundos: un modelo que cuente con mucho más conocimiento «básico», como un LLM, pero que no se sobreajuste en las tareas de clasificación?

LoRA al rescate

En nuestra última versión, aprovechamos una técnica relativamente habitual para el ajuste fino de modelos de lenguaje a gran escala conocida como LoRA.

Visualización de las operaciones tensoriales de LoRA según el artículo original.

La idea principal de LoRA es que, en lugar de realizar un ajuste fino de todo el modelo —lo cual (1) requiere mucho tiempo y memoria, (2) es muy propenso al sobreajuste y (3) puede provocar un olvido catastrófico de los datos de preentrenamiento—, se mantiene el LLM base y se entrenan módulos adaptadores como redes secundarias junto a los bloques de atención centrales del LLM. LoRA son las siglas de «Low-Rank Adaptation» (adaptación de rango bajo), lo que significa que los módulos adaptadores se descomponen perfectamente en matrices de pesos eficientes en cuanto a parámetros, lo que hace que sean muy rápidos de entrenar y eficientes en cuanto a memoria.

Esta figura del artículo sobre LoRA explica muy bien la idea. El LLM original está representado únicamente por la matriz W azul. Se permite que los módulos naranjas se entrenen, mientras que el módulo azul del LLM original simplemente se congela en su lugar mientras el módulo adaptador aprende a sortearlo.

Hemos observado que LoRA mejora considerablemente nuestro rendimiento, reduciendo tanto la tasa de falsos positivos como la de falsos negativos.

Nuestra hipótesis es que la mejora se debe en gran medida a la mayor cantidad de conocimientos previos al entrenamiento que contiene el LLM, que podemos aprovechar sin que se produzca un sobreajuste gracias al concepto del adaptador LoRA. ¡Qué guay!

Próximos pasos

Seguiremos introduciendo mejoras en la arquitectura con el tiempo para mantenernos al día con las mejores arquitecturas de aprendizaje profundo que existen. También tenemos previstas otras mejoras en la arquitectura y los datos, ¡pero primero es el momento de crear un conjunto de evaluación aún más exigente!

No te lo pierdas…

¿Quieres ponerte en contacto con nosotros? ¡Envíanos un correo electrónico a info@pangram.com!