Comment Pangram détecte les contenus générés par l'IA

Pangram Text est conçu pour détecter les contenus générés par l'IA avec un taux de faux positifs quasi nul. Notre approche rigoureuse en matière de formation minimise les erreurs et permet au modèle de détecter les textes générés par l'IA en analysant et en comprenant les indices subtils présents dans l'écriture.

Notre classificateur utilise une architecture de modèle linguistique classique. Il reçoit un texte en entrée et le segmente en tokens. Ensuite, le modèle transforme chaque token en un vecteur d'encodage, c'est-à-dire un vecteur de nombres représentant la signification de chaque token.

Les données d'entrée sont traitées par le réseau neuronal, ce qui produit une représentation de sortie. Une tête de classification transforme cette représentation en une prédiction de type 0 ou 1, où 0 correspond à l'étiquette humaine et 1 à l'étiquette générée par l'IA.

Nous entraînons un modèle initial sur un ensemble de données restreint mais diversifié, composé d'environ 1 million de documents comprenant des textes publics et sous licence rédigés par des humains. L'ensemble de données comprend également des textes générés par l'IA à l'aide de GPT-4 et d'autres modèles linguistiques de pointe. Le résultat de cet entraînement est un réseau neuronal capable de prédire de manière fiable si un texte a été rédigé par un humain ou par l'IA.

Exploitation minière « hard negative »

Le modèle initial était déjà assez performant, mais nous souhaitions optimiser la précision et réduire tout risque de faux positifs (c'est-à-dire le fait de classer à tort des documents rédigés par des humains comme étant générés par l'IA). Pour ce faire, nous avons développé un algorithme spécialement conçu pour les modèles de détection de l'IA.

Avec l'ensemble de données initial, notre modèle ne disposait pas d'informations suffisantes pour passer d'une précision de 99 % à 99,999 %. Bien que le modèle apprenne rapidement les schémas initiaux présents dans les données, il a besoin d'être confronté à des cas limites complexes pour pouvoir distinguer avec précision les textes rédigés par des humains de ceux générés par l'IA.

Pour y remédier, nous utilisons le modèle pour rechercher les faux positifs dans de grands ensembles de données, puis nous enrichissons l'ensemble d'apprentissage initial avec ces exemples difficiles supplémentaires avant de procéder à un nouvel apprentissage. Après plusieurs cycles de ce processus, le modèle obtenu affiche un taux de faux positifs proche de zéro ainsi qu'une amélioration globale des performances sur les ensembles d'évaluation non utilisés.

Messages miroir

Nous concevons la partie IA de l'ensemble de données de manière à ce qu'elle ressemble étroitement à la partie humaine en termes de style, de ton et de contenu sémantique. Pour chaque exemple humain, nous générons un exemple généré par l'IA qui correspond au document original sur autant d'axes que possible, afin de garantir que notre modèle apprend à classer les documents uniquement sur la base des caractéristiques spécifiques de l'écriture LLM.

Recycler

Nous entraînons le modèle à l'aide de l'ensemble d'apprentissage mis à jour et évaluons ses performances à chaque étape. Grâce à cette méthode, nous parvenons à réduire les erreurs et à améliorer la précision de notre modèle au-delà de ce qui est possible avec un apprentissage classique.

Consultez notre livre blanc technique complet sur arXiv, dans lequel nous abordons en détail les modalités d'entraînement, les performances et d'autres expériences.