Tout ce qu'il faut savoir sur les éléments de preuve
Comment nous mesurons les traces laissées par l'IA.
Vous connaissez sans doute les indices qui trahissent la présence d'une IA. Le mot « delve ». Les tirets longs éparpillés. Les emojis qui détonnent, ou encore les mises en forme sophistiquées là où elles n'ont rien à faire. Ou peut-être que vous n'arrivez pas à mettre le doigt dessus, mais ce document-là a tout simplement un petit air de « fait par une IA ».
Vous avez sans doute raison. Des études ont montré qu'il est possible d'entraîner son intuition pour repérer à l'œil nu les textes générés par l'IA. Mais cela peut parfois s'avérer fastidieux, déroutant et difficile à expliquer.
« Supporting Evidence » est une suite d'outils conçue pour mettre en évidence ces indices révélateurs de l'IA. En exploitant l'extraction de caractéristiques étayées par des données probantes issues de notre corpus de millions de documents rédigés par des humains et générés par l'IA, nous avons identifié neuf schémas récurrents dans les résultats produits par l'IA.
Aucun élément de preuve pris isolément n'est révélateur. Ce n'est pas parce qu'une expression ou un emoji typique de l'IA apparaît dans un texte que celui-ci a nécessairement été rédigé par une IA.
Le modèle de détection phare de Pangram offre une vision globale d'un document et utilise un détecteur basé sur l'apprentissage profond qui synthétise des millions d'indicateurs relatifs à un texte donné. Les éléments de preuve extraits ne constituent pas des données d'entrée pour notre modèle.
Si nous disposons d'éléments de preuve suffisants, nous espérons vous permettre de mieux comprendre, d'y voir plus clair et d'avoir davantage confiance dans les prédictions de l'IA de Pangram. Voici une présentation détaillée des neuf schémas que nous suivons, classés en fonction de leur fréquence d'apparition dans les textes générés par l'IA par rapport à ceux rédigés par des humains.
Neuf éléments de preuve à l'appui
| Signal | Exemple | Humainpar tranche de 10 000 mots | IApour 10 000 mots | Multiplicateur |
|---|---|---|---|---|
| Markdown | **amylase**Éléments justificatifsMarkdownMise en forme Markdown insérée dans du texte brut | 8 | 90 | 12× |
| Expressions liées à l'IA | 45xplongerdansÉléments justificatifsExpression générée par l'IADes combinaisons de mots qui apparaissent beaucoup plus fréquemment dans les textes générés par l'IA | 3 | 30 | 12× |
| Tirets | Éléments justificatifsTiret longUtilisation excessive des tirets longs là où les rédacteurs humains n'en mettraient généralement pas | 2 | 17 | 10× |
| Listes à puces | - Glandes salivairesÉléments justificatifsListes à pucesLes listes structurées permettent d'organiser les informations de manière systématique | 3 | 28 | 9× |
| Triades | Triades1passé, 2présent et 3futurÉléments justificatifsTriadesLe regroupement des idées par trois, un procédé rhétorique courant en IA | 5 | 19 | 4× |
| « Pas seulement X, mais aussi Y » | Passeulement survivre MaisprospérerÉléments justificatifsMotif contrastéLes constructions du type « pas seulement A, mais aussi B » sont courantes dans la rédaction générée par l'IA | 1 | 3 | 3× |
| Unicode inhabituel | ≈Éléments justificatifsUnicodeCaractères Unicode inhabituels pouvant indiquer des tentatives d'humanisation | 28 | 71 | 3× |
| En-têtes de style IA | Bien sûr ! VoiciÉléments justificatifsEn-tête IALes titres et introductions trop explicites, fréquents dans les résultats générés par l'IA | 1 | 2 | 2× |
| Émoticônes | 🚀Éléments justificatifsÉmojiDes emojis ont été insérés là où un rédacteur humain ne l'aurait généralement pas fait | 0.1 | 0.2 | 2× |
Réduction(12×)
Le Markdown est une méthode permettant de coder la mise en forme à l'aide de caractères. Il s'affiche sous la forme de **gras**, de ## titres, de ```code en ligne``` ou d'*italique*. Les grands modèles linguistiques ont souvent recours à des visualisations sophistiquées pour mettre en valeur certains éléments ou attirer l'attention sur certaines expressions. Ce n'est généralement pas le cas des utilisateurs qui tapent du texte dans Google Docs, des clients de messagerie ou des forums.
Multiplicateur par variante de réduction
Les symboles de Markdown sont utilisés à des fréquences différentes par les humains et l'IA.
| Variante | Humain / 10 000 | IA / 10 000 | Multiplicateur |
|---|---|---|---|
| Gras (**texte**) | 2 | 65 | 43× |
| En-têtes (#) | 0.5 | 11 | 23× |
| Code en ligne | 0.2 | 0.8 | 5× |
| Italique | 5 | 13 | 2× |
Expressions d'IA(12)
Les expressions générées par l'IA constituaient notre premier élément de preuve. On remarque parfois facilement que l'IA a tendance à abuser de certains mots et expressions. Mais en y regardant de plus près, on constate qu'il existe des milliers d'expressions que l'IA utilise de manière excessive, à un niveau statistiquement significatif. Nous mettons ici en évidence ces expressions.
Quelques exemples de phrases générées par l'IA
Chacun de ces termes apparaît bien plus souvent dans les textes générés par l'IA que dans ceux rédigés par des humains. Les modèles ayant chacun leurs préférences, nous tenons à jour des listes spécifiques à chaque famille de modèles.
- « capacité d'adaptation »
- « accessible même pour ceux qui »
- « tous ceux qui souhaitent se perfectionner »
- « devenir un point de référence »
- « devenir un élément essentiel »
- « estomper la frontière entre »
- « peut varier en fonction du cas particulier »
- « soirée décontractée »
- « une trame complexe »
- « un récit captivant »
- « fascinant et complexe »
- « donner l'impression d'être répétitif »
- « en tâtonnant jusqu'à la finale »
- « il était connu pour »
- « Je le recommande vivement à tout le monde »
- « ses capacités à accomplir ses tâches »
- « Je vous écris pour vous informer que »
- « J'ai commandé leur spécialité »
- « est un livre passionnant »
- « C'est une excellente question »
- « son design compact »
- « réputé pour ses compétences »
- « Fais-moi savoir si tu veux bien… »
- « un éclairage sur ce sujet complexe »
- « pour faciliter »
- « un décalage perceptible »
- « d'une grande profondeur »
- « lien profond entre »
- « À lire pour tous ceux que cela intéresse »
- « j'ai récemment eu le plaisir »
- « reflet sur la surface polie »
- « imperturbable malgré le tremblement »
- « témoignage de l'humanité »
- « s'adapter à la diversité »
- « au souci du détail et à l'engagement »
- « but une petite gorgée »
- « Le poids du non-dit »
- « merci pour votre dévouement sans faille »
- « vous ou quelqu’un que vous connaissez »
- « tu abordes »
Tirets longs(10×)
Les tirets longs constituent un signe de ponctuation à part entière, utilisés pour marquer une pause, mettre l'accent sur un élément ou remplacer d'autres signes de ponctuation afin de créer un effet plus dramatique. Pour des raisons qui ne sont pas évidentes au premier abord, l'IA utilise dix fois plus de tirets longs que les humains.
Tirets de 10 000 mots, par famille de modèles
En moyenne, les humains utilisent 5 tirets longs pour 10 000 mots. La plupart des familles de modèles dépassent ce chiffre de 7 à 9 fois, tandis que Gemini 3 Pro utilise moins de tirets longs que les rédacteurs humains.
| Gamme de modèles | par 10 000 | Multiplicateur |
|---|---|---|
| Référence humaine | 5 | 1× |
| OpenAI | 45 | 9× |
| Open Source | 37 | 8× |
| Anthropique | 32 | 7× |
| Google (Gemini 3 Pro) | 3 | 0.7× |
Une hypothèse : l'utilisation excessive du tiret long par l'IA a connu un pic en 2024, après l'essor initial des modèles de langage à grande échelle (LLM), ce qui a conduit certains à supposer qu'elle provenait des modèles de base des analyseurs de documents utilisés par les entreprises pour analyser et entraîner ces modèles à partir de livres et d'autres documents imprimés volumineux.
Listes à puces(9×)
Alors qu'un humain écrirait « pommes, oranges et bananes », un modèle a tendance à insérer un saut de ligne et un tiret, principalement pour mieux structurer le texte dans les interfaces de chat conversationnelles rapides. Ce n'est pas une erreur, mais plutôt une habitude structurelle. Les modèles les produisent environ neuf fois plus souvent que les humains, souvent dans des contextes où un texte continu serait plus naturel à lire.
Alors que l'on pourrait écrire : « L'amylase est produite par les glandes salivaires et le pancréas, qui la libèrent dans l'intestin grêle afin de décomposer les amidons. »
Triades(4×)
La règle de trois est un procédé linguistique qui existe depuis des siècles. De nombreuses triades ont intégré notre vocabulaire commun : « sang, sueur et larmes », « passé, présent et futur », ou encore « réduire, réutiliser, recycler ! ». Mais l'IA va bien au-delà de ce qui nous semble naturel, en les utilisant environ quatre fois plus souvent que les humains.
Pas seulement X, mais aussi Y(3×)
L'un des schémas les plus inexplicables de l'IA, « Pas seulement X, mais aussi Y », fait référence à un modèle extrêmement courant. L'IA adore vous dire qu'une chose n'est pas seulement une chose, mais qu'il s'agit d'une chose totalement différente ! L'IA utilise des expressions correspondant à ce modèle trois fois plus souvent que les humains.
Unicode inhabituel(3×)
Les caractères Unicode inhabituels sont des caractères qui ne figurent sur aucun clavier : tirets décoratifs, opérateurs mathématiques, glyphes en forme de flèche, caractères permettant de dessiner des cadres ou marqueurs de type interface utilisateur. Ceux-ci peuvent apparaître dans un texte rédigé par un humain, mais restent rares. De plus, la présence de caractères Unicode inhabituels dans un texte qui, par ailleurs, n’a aucun rapport avec ce type de caractères, peut parfois indiquer des tentatives d’humanisation.
Les caractères Unicode les plus inhabituels dans les textes générés par l'IA
| Char | Code de caractère | Nom | Multiplicateur |
|---|---|---|---|
| ─ | U+2500 | dessins de boîtes, légers, horizontaux | 940× |
| ≈ | U+2248 | presque égal à | 241× |
| ⚠ | U+26A0 | panneau d'avertissement | 57× |
| → | U+2192 | flèche vers la droite | 48× |
En-têtes de style IA(2×)
« Bien sûr ! Voici… » « D'accord ! Voici un… » « Je serais ravi de… » Ces formules d'accroche typiques des chatbots enjoués sont le résultat de la manière dont les modèles sont entraînés à répondre aux requêtes. Elles peuvent trahir immédiatement qu'un texte a été généré par l'IA, mais les créateurs les plus avertis les suppriment généralement.
L'ouverture « L'assistante joyeuse »
Une conséquence de la manière dont les modèles sont entraînés à répondre aux invites.
| Phrase | Humain / 10 000 | IA / 10 000 | Multiplicateur |
|---|---|---|---|
| « Bien sûr ! Tiens, voilà » | 0 | 94 | 70× |
| « Bien sûr ! En voici un » | 0 | 23 | 18× |
| « Voici ce qu'il faut savoir » | 5 | 85 | 11× |
| « Je le ferai avec plaisir » | 54 | 358 | 5× |
Aucun humain n'a écrit « Bien sûr ! En voici une ». L'IA l'a écrit 94 fois.
Émoticônes(2×)
Dans l'ensemble, l'utilisation des emojis n'est guère plus fréquente dans les textes générés par l'IA ; les humains les utilisent à peu près aussi souvent. Mais le choix des emojis varie considérablement. Les coches, les panneaux d'avertissement et les chiffres sur les touches apparaissent des centaines de fois plus souvent que chez les humains, tandis que ces derniers ont beaucoup plus souvent recours aux visages pour s'exprimer que l'IA.
Quels emojis, pas combien
L'utilisation globale des emojis n'est que très légèrement plus élevée dans les textes générés par l'IA. Mais certains emojis se démarquent nettement : les symboles codés par l'interface utilisateur apparaissent des centaines de fois plus souvent que la moyenne humaine.
| Émoji | Nom | Multiplicateur |
|---|---|---|
| ✅ | coche épaisse blanche | 167× |
| 2️⃣ | touche n° 2 | 129× |
| 4️⃣ | touche n° 4 | 98× |
| 3️⃣ | touche n° 3 | 86× |
| ✔️ | coche | 64× |
| 1️⃣ | touche n° 1 | 61× |
| 🚀 | fusée | 26× |
| ❌ | croix | 24× |
Les humains ripostent
Les emojis sociaux du quotidien apparaissent un peu plus souvent du côté des humains :
| Émoji | Multiplicateur |
|---|---|
| 😊 | 0.6× |
| ❤️ | 0.2× |
