Évoluer grâce à LoRA

Photo de Tara Winstead.

Le mois dernier, nous avons publié notre rapport technique, qui compare de manière exhaustive notre modèle à celui de nos concurrents ainsi qu'à une méthode académique de référence.

Nous annonçons aujourd'hui la sortie d'un nouveau modèle qui améliore encore davantage nos performances dans ce test de référence exigeant.

À quoi cette amélioration est-elle due ?

Pour développer ce nouveau modèle, nous avons utilisé la même approche d'apprentissage actif que celle décrite dans notre rapport technique intitulé « Hard Negative Mining with Synthetic Mirrors ». Cependant, pour cette mise à jour, nous avons considérablement étendu notre modèle, en multipliant par dix le nombre total de paramètres. Pour ce faire, nous avons également dû augmenter les ressources de calcul nécessaires à l'entraînement du nouveau modèle et mettre en œuvre l'adaptation de rang faible (LoRA), une technique couramment utilisée pour affiner efficacement les modèles de langage à grande échelle (LLM). Ce nouveau modèle est également notre première version d'un modèle entraîné sur les nouveaux GPU H100 de NVIDIA !

Extension du modèle sans surapprentissage

Il a été constaté que les modèles de plus petite taille fonctionnent mieux pour DetectGPT lorsqu'il s'agit de détecter du texte généré par l'IA, et nous avons déjà abordé la question de la saturation des lois d'échelle dans notre rapport technique. Pour résumer, nous constatons que l'ajout de données supplémentaires n'améliore pas les performances du modèle une fois dépassé un seuil critique (dans notre cas, environ 40 000 documents).

De plus, si vous jetez un œil au classement des autres tâches de classification de texte, telles que MTEB, l'analyse des sentiments sur IMDB et AGNews, vous constaterez que ce classement reste dominé par des modèles comme XLNet, DeBERTa et T5-XXL. Bien que ces modèles soient des architectures éprouvées qui ont fait leurs preuves depuis des années sur des tâches de classification simples, leur taille est loin d'égaler celle des grands modèles linguistiques de pointe actuels. Ces modèles de type BERT comptent environ deux cents millions de paramètres, tandis que les principaux modèles linguistiques de pointe open source en comptent désormais des dizaines de milliards – une différence considérable !

Si les architectures de type LLM ne donnent pas de très bons résultats en matière de classification de textes, c'est en grande partie parce qu'elles ont tendance à se surajuster facilement. Comment pouvons-nous tirer le meilleur parti des deux approches : un modèle qui dispose de beaucoup plus de connaissances « de base », à l'instar d'un LLM, mais qui ne se surajuste pas lors des tâches de classification ?

LoRA à la rescousse

Dans notre dernière version, nous utilisons une technique relativement courante pour affiner les grands modèles linguistiques, connue sous le nom de LoRA.

Représentation graphique des opérations sur les tenseurs LoRA tirées de l'article original.

Le principe fondamental de LoRA est le suivant : plutôt que de procéder à un ajustement fin de l'ensemble du modèle, ce qui (1) demande beaucoup de temps et de mémoire, (2) entraîne un risque élevé de surapprentissage et (3) peut provoquer un oubli catastrophique des données de pré-entraînement, on conserve le LLM de base tel quel et on entraîne des modules adaptateurs en tant que réseaux parallèles aux blocs d'attention centraux du LLM. LoRA signifie « Low-Rank Adaptation », ce qui signifie que les modules adaptateurs se décomposent facilement en matrices de poids efficaces en termes de paramètres, ce qui les rend très rapides à entraîner et économes en mémoire.

Cette illustration tirée de l'article sur LoRA illustre bien le concept. Le LLM d'origine est représenté uniquement par la matrice W bleue. Les modules orange peuvent s'entraîner, tandis que le module bleu du LLM d'origine est simplement figé, l'adaptateur apprenant à le contourner.

Nous constatons que LoRA améliore considérablement nos performances, en réduisant à la fois les taux de faux positifs et de faux négatifs.

Nous émettons l'hypothèse que cette amélioration est en grande partie due à la quantité plus importante de connaissances acquises lors de la pré-formation contenues dans le LLM, dont nous pouvons tirer parti sans surapprentissage grâce au concept d'adaptateur LoRA. C'est plutôt génial !

Prochaines étapes

Nous continuerons à apporter des améliorations à notre architecture au fil du temps afin de rester à la pointe des meilleures architectures d'apprentissage profond disponibles. D'autres améliorations architecturales et liées aux données sont également en cours de préparation, mais il est d'abord temps de créer un ensemble d'évaluation encore plus exigeant !

Restez à l'écoute…

Vous souhaitez nous contacter ? Envoyez-nous un e-mail à l'adresse info@pangram.com!