La théorie de l'information qui explique pourquoi la rédaction par IA est nulle

Avertissement : un modèle linguistique basé sur l'IA a été utilisé au cours du processus de rédaction pour rédiger des descriptions techniques et proposer des améliorations au niveau de la structure et du style. Plusieurs suggestions de l'IA ont été reprises dans la version finale de l'article.

J'ai lu une quantité embarrassante de romans, surtout de science-fiction. J'utilise également tous les modèles phares d'IA qui sortent dans le cadre de mon travail d'ingénieur logiciel.

Ces deux expériences m'ont laissé le sentiment tenace que l'IA a une « voix » étonnamment uniforme par rapport à celle d'un auteur humain de haut niveau.

Quiconque aime la littérature sait de quoi je parle. J'ai lu des œuvres d'environ cinq mille auteurs différents, mais je pense sincèrement que même si vous n'en avez lu qu'une demi-douzaine, vous remarquerez que chacun d'entre eux a son propre univers stylistique.

Comparé au style unique des auteurs humains, le texte généré par l'IA semble remarquablement uniforme. Il s'avère qu'il y a une bonne raison à cela, et elle est liée à la théorie de l'information.

La voix en tant que distribution de probabilité

Une « voix » d'auteur unique n'est ni le fruit du hasard, ni une valeur moyenne. Il s'agit d'une distribution de probabilités spécifique — appelons-la P_auteur. Lorsqu'un auteur écrit, il puise dans un processus hautement singulier. Il dispose de probabilités conditionnelles spécifiques quant à la manière dont il met en œuvre les concepts, le rythme, le vocabulaire et d'autres outils stylistiques.

Ce qui rend une voix reconnaissable, ce sont les choix à faible fréquence mais à fort impact qu’un auteur fait de manière cohérente (la longue traîne de la distribution). Si je dis « Ted Chiang », vous penserez immédiatement à la façon dont ses phrases sont syntaxiquement simples mais sémantiquement denses (c’est un style que j’admire, mais comme le montre cette parenthèse, je ne peux pas l’imiter). Si je dis « Ursula K. Le Guin », vous penserez à sa façon d’être à la fois si claire et ancrée dans la réalité tout en conservant une touche lyrique — je ne sais pas vraiment décrire son style, mais les lecteurs de Le Guin savent de quoi je parle.

En fin de compte, ce que je veux dire, c'est que la bonne façon de mesurer à quel point un texte « ressemble à de l'IA » ne consiste pas à vérifier s'il est prévisible en général — la plupart des textes bien écrits sont en effet assez prévisibles —, mais à mesurer la divergence de KL entre la distribution de sortie du modèle et celle d'un auteur spécifique : D_KL(P_auteur || Q_modèle). Pour ceux qui ne connaissent pas la divergence de KL, celle-ci mesure dans quelle mesure la distribution du modèle ne parvient pas à couvrir les choix de l'auteur (plus précisément, elle mesure le coût d'information supplémentaire attendu pour encoder des échantillons de P à l'aide d'un code optimisé pour Q). Lorsque cette divergence est importante et structurée, on perçoit une voix.

Le piège RLHF et le « dialecte consensuel de l'annotateur »

Au cours de la pré-formation, un grand modèle linguistique génère une carte représentant une distribution généralisée du texte humain. Cette distribution de base, Q_base, est extrêmement vaste. Dans son espace latent, elle recèle la capacité d'approcher pratiquement n'importe quelle distribution P_author.

Le piège dont je parle commence par l'alignement. Pour rendre le modèle sûr et utile, les laboratoires ont recours à des techniques telles que l'apprentissage par renforcement à partir du retour d'information humain (RLHF) et d'autres. Les détails varient, mais l'essentiel est que le modèle est optimisé pour produire des résultats qui obtiennent de bons scores par rapport à un signal de récompense dérivé des préférences humaines (ou de l'IA).

Cela ne fait pas évoluer le modèle vers la moyenne statistique de l'anglais. Cela le fait plutôt évoluer vers quelque chose qui présente une distribution de probabilité différente — appelons cela le « dialecte consensuel des annotateurs ».

Le mécanisme qui permet d'en arriver là est le suivant : lorsque les évaluateurs (qu'il s'agisse de travailleurs indépendants engagés pour évaluer les résultats, d'experts ou de toute autre personne) évaluent les résultats, un style d'écriture singulier entraîne une forte variation dans les notes attribuées. Mon style d'écriture peut obtenir une note de 5/5 auprès d'un évaluateur et de 2/5 auprès d'un autre. Mais une réponse stérile, symétrique et très prudente pourrait obtenir une note de 4/5 de la part de tous. L'algorithme d'optimisation dicte que le moyen le plus sûr de maximiser la récompense attendue est de réduire la variance. C'est l'équivalent conversationnel de la décoration d'un hall d'hôtel.

Vous pourriez dire : « Joe, ce n'est pas une description juste ! Les nouvelles techniques d'alignement sont explicitement conçues pour préserver la diversité ! ». Bien que cela soit vrai, ces nouvelles méthodes continuent de privilégier une notion de résultat « préféré », ce qui pénalise toujours la prise de risques à forte variance par rapport à une prose sûre et largement acceptable.

Il s'agit d'une hypothèse vérifiable (je ne l'ai pas encore testée, mais elle est vérifiable). Si l'on mesurait la divergence de Kullback-Leibler entre les résultats d'un modèle aligné et un corpus composé, par exemple, de communications d'entreprise d'une part et de fiction littéraire d'autre part, je prédis que la distribution du modèle se situerait bien plus près du centre du corpus d'entreprise. À ma connaissance, personne n'a encore publié cette mesure précise, mais les calculs d'optimisation la prédisent clairement.

L'illusion du camouflage (pourquoi la demande de style ne fonctionne pas)

Je sais ce que vous pensez : oui, mais on peut demander au modèle de s'écarter de ce dialecte. « Écris dans le style d'un roman policier hard-boiled des années 1920 » ou autre (une partie de moi aimerait bien voir à quoi ressemblerait cet article si je demandais à un modèle de le réécrire sous forme de paroles de Lupe Fiasco). Cela produit certes un texte qui semble différent du « dialecte consensuel des annotateurs », mais il reste étrangement uniforme.

En effet, il existe une différence mathématique entre le déplacement de la moyenne d'une distribution et la reproduction de la structure de sa variance.

Lorsque l'on demande à un modèle d'imiter un auteur, son centre de gravité se déplace. Il calcule la moyenne statistique du vocabulaire, de la structure des phrases et d'autres caractéristiques stylistiques de la cible, puis s'aligne sur ces valeurs. Mais il applique à ce nouvel état les mêmes mécanismes de réduction de la variance dont nous avons parlé.

Le style humain repose sur une irrégularité structurée. Un auteur a un rythme de base, mais il le rompt intentionnellement, par exemple en glissant vers un fragment, en glissant un verbe inhabituel ou en emmêlant une phrase pour créer un effet émotionnel. La stylométrie computationnelle dispose d'outils pour mesurer cela : les exposants de Hurst appliqués à des séries chronologiques de longueur de phrase peuvent révéler des dépendances à long terme dans l'écriture humaine qui font défaut aux textes générés par l'IA. Les auteurs humains modulent leur diversité lexicale d'une manière que les modèles ne peuvent pas reproduire.

En résumé, lorsque vous demandez un texte rédigé dans un style particulier, le modèle reprend les codes de ce style tout en atténuant ses aspects les plus marqués. Il génère ainsi une version caricaturale de ce que vous avez demandé.

L'échec de « Temperature and Friends »

Si la distribution de l'IA est trop étroite, pourquoi ne pas simplement l'élargir ?

L'approche la plus courante est la mise à l'échelle de la température. Lorsque l'on augmente la température T, on divise les logits bruts du modèle par T avant de calculer les probabilités, ce qui aplatit l'ensemble de la distribution et oblige le modèle à choisir des mots moins probables. Mais cette opération s'effectue de manière aveugle. L'excentricité d'un auteur humain est fortement conditionnelle. Les humains enfreignent les règles de manière très spécifique et cohérente, alors que la mise à l'échelle de la température ne fait qu'introduire un bruit stochastique.

J'espère que cela semble assez évident : au final, augmenter la température ne fait que vous faire passer d'un résultat « étrangement régulier » à un résultat « étrangement aléatoire », sans passer par un résultat « humain » du tout.

Je sais qu'il existe des stratégies de décodage plus sophistiquées. L'échantillonnage top-p (nucleus), le filtrage top-k, les pénalités de répétition et le guidage sans classificateur visent tous à obtenir une redistribution plus ciblée. Ils apportent certes une aide marginale, mais aucun d'entre eux ne résout le problème fondamental : il s'agit d'interventions au moment de l'inférence qui s'appliquent à un modèle dont la philosophie de fonctionnement (si l'on peut l'appeler ainsi) a été entièrement définie lors de l'alignement.

Il y a également ici une nuance importante qu’un de mes amis m’a récemment fait remarquer : l’alignement n’efface pas la capacité latente du modèle de base à produire une variance stylistique. Les poids pré-entraînés continuent d’encoder la majeure partie de la richesse de Q_base, à condition de disposer d’un nombre suffisant de poids. Il existe des techniques émergentes de pilotage au moment de l'inférence, telles que l'ingénierie de représentation, qui permettent de récupérer partiellement la variance supprimée en puisant dans l'espace latent sous-jacent. Il s'agit toutefois de domaines de recherche et non de fonctionnalités disponibles dans les produits d'IA grand public.

De même, l'apprentissage contextuel à long terme peut également donner des résultats légèrement meilleurs, mais les mécanismes d'attention s'affaiblissent lorsque le contexte devient suffisamment vaste (et on commence à revenir à une distribution uniforme à mesure que le contexte s'étend).

Et alors ?

Ce qu'il faut retenir ici, c'est que les choix de conception qui sous-tendent les techniques liées au RLHF vont faire en sorte que ces « voix » générées par l'IA resteront détectables bien plus longtemps que quiconque ne veut bien l'admettre.

Il est également utile de considérer le style d'un auteur comme une distribution de probabilité spécifique à haute dimension, et je vous mets au défi d'essayer d'identifier vous-même certains éléments de la divergence de KL la prochaine fois que vous lirez votre auteur préféré. D'où vient la voix de l'auteur ? C'est un exercice amusant qui pourrait vous faire apprécier davantage le texte, et le processus difficile consistant à mettre en pratique et à intérioriser de nouvelles connaissances est tout à fait indiqué en ces temps d'atrophie des compétences induite par les modèles de langage de grande envergure (LLM).