Comment Pangram détecte les contenus générés par l'IA

Le modèle initial était déjà assez performant, mais nous souhaitions optimiser la précision et réduire tout risque de faux positifs (c'est-à-dire le fait de classer à tort des documents rédigés par des humains comme étant générés par l'IA). Pour ce faire, nous avons développé un algorithme spécialement conçu pour les modèles de détection de l'IA.

Avec l'ensemble de données initial, notre modèle ne disposait pas d'informations suffisantes pour passer d'une précision de 99 % à 99,999 %. Bien que le modèle apprenne rapidement les schémas initiaux présents dans les données, il a besoin d'être confronté à des cas limites complexes pour pouvoir distinguer avec précision les textes rédigés par des humains de ceux générés par l'IA.

Pour y remédier, nous utilisons le modèle pour rechercher les faux positifs dans de grands ensembles de données, puis nous enrichissons l'ensemble d'apprentissage initial avec ces exemples difficiles supplémentaires avant de procéder à un nouvel apprentissage. Après plusieurs cycles de ce processus, le modèle obtenu affiche un taux de faux positifs proche de zéro ainsi qu'une amélioration globale des performances sur les ensembles d'évaluation non utilisés.