Come misuriamo le tracce lasciate dall'intelligenza artificiale.
Probabilmente ne conosci già i segnali rivelatori. La parola «delve». I trattini lunghi sparsi qua e là. Le emoji fuori luogo o la formattazione complessa dove non dovrebbe esserci. O forse non riesci a capirne il motivo, ma c'è qualcosa in quel documento che fa pensare all'intelligenza artificiale.
Probabilmente hai ragione. Alcune ricerche hanno dimostrato che è possibile allenare il proprio intuito per riconoscere a prima vista i testi generati dall'intelligenza artificiale. Tuttavia, a volte è un processo laborioso, che crea confusione e difficile da spiegare.
Supporting Evidence è una suite di strumenti pensata per portare alla luce questi "segnali rivelatori" dell'IA. Grazie all'estrazione di caratteristiche supportata da dati concreti dal nostro corpus di milioni di documenti redatti da esseri umani e dall'IA, abbiamo individuato nove modelli ricorrenti nei risultati prodotti dall'IA.
Nessun singolo elemento di prova è di per sé determinante. Il fatto che in un testo compaia una determinata frase generata dall'IA o un'emoji non significa che sia stato scritto dall'IA.
Il modello di rilevamento di punta di Pangram offre una visione d'insieme completa del documento e utilizza un sistema di rilevamento basato sul deep learning che sintetizza milioni di segnali relativi a un determinato testo. Gli elementi di prova estratti non costituiscono input per il nostro modello.
Con un numero sufficiente di elementi di prova, speriamo di offrirvi una comprensione più approfondita, maggiore chiarezza e maggiore fiducia nelle previsioni dell'IA di Pangram. Ecco una panoramica dei nove modelli che monitoriamo, ordinati in base alla frequenza con cui compaiono nei testi generati dall'IA rispetto a quelli scritti da esseri umani.
| Segnale | Esempio | Umanoogni 10.000 parole | IAogni 10.000 parole | Moltiplicatore |
|---|---|---|---|---|
| Markdown | **amilasi**Elementi probatoriMarkdownFormattazione Markdown inserita in contesti di testo semplice | 8 | 90 | 12× |
| Frasi sull'intelligenza artificiale | 45xapprofondisciElementi probatoriFrase sull'IAModelli lessicali che ricorrono molto più spesso nei testi generati dall'intelligenza artificiale | 3 | 30 | 12× |
| Trattini lunghi | Elementi probatoriTrattino lungoL'uso eccessivo dei trattini lunghi in contesti in cui gli autori umani di solito non li userebbero | 2 | 17 | 10× |
| Elenchi puntati | - Ghiandole salivariElementi probatoriElenchi puntatiElenchi strutturati utilizzati per organizzare le informazioni in modo sistematico | 3 | 28 | 9× |
| Triadi | Triadi1passato, 2presente e 3futuroElementi probatoriTriadiRaggruppare le idee in gruppi di tre: un modello retorico comune nell'intelligenza artificiale | 5 | 19 | 4× |
| "Non solo X, ma anche Y" | Nonsolo sopravvivere MaprosperareElementi probatoriMotivo a contrastoLe costruzioni del tipo "non solo A ma anche B", comuni nella scrittura generata dall'intelligenza artificiale | 1 | 3 | 3× |
| Unicode insolito | ≈Elementi probatoriUnicodeCaratteri Unicode insoliti che potrebbero indicare tentativi di umanizzazione | 28 | 71 | 3× |
| Intestazioni in stile AI | Certo! EccoElementi probatoriIntestazione AIIntestazioni e introduzioni eccessivamente dettagliate, tipiche dei testi generati dall'intelligenza artificiale | 1 | 2 | 2× |
| Emoji | 🚀Elementi probatoriEmojiEmoji inserite in punti in cui un autore umano normalmente non le inserirebbe | 0.1 | 0.2 | 2× |
Markdown è un modo per codificare la formattazione tramite caratteri. Si presenta come **grassetto**, ## intestazioni, ```codice in linea``` o *corsivo*. I modelli linguistici di grandi dimensioni ricorrono spesso a visualizzazioni elaborate per enfatizzare elementi o attirare l'attenzione su determinate frasi. Chi scrive su Google Docs, nei client di posta elettronica o nei forum, invece, lo fa raramente.
Gli esseri umani e l'intelligenza artificiale utilizzano i diversi simboli di Markdown con frequenza diversa.
| Variante | Umano / 10.000 | IA / 10.000 | Moltiplicatore |
|---|---|---|---|
| In grassetto (**testo**) | 2 | 65 | 43× |
| Intestazioni (#) | 0.5 | 11 | 23× |
| Codice inline | 0.2 | 0.8 | 5× |
| Corsivo | 5 | 13 | 2× |
Le frasi generate dall'IA hanno costituito la nostra prova di base. A volte è facile notare che l'IA tende a usare in modo eccessivo determinate parole e frasi. Ma osservando più da vicino, è possibile individuare migliaia di frasi che l'IA ripete in misura statisticamente significativa. In questa sede, mettiamo in evidenza tali frasi.
Ciascuno di questi termini compare molto più spesso nei testi generati dall'intelligenza artificiale che in quelli scritti da esseri umani. Poiché i diversi modelli hanno le loro preferenze, teniamo elenchi distinti per ogni famiglia di modelli.
I trattini lunghi sono un segno di punteggiatura a tutti gli effetti, utilizzati per indicare una pausa, aggiungere enfasi o sostituire altri segni di punteggiatura al fine di conferire un tono più drammatico. Per ragioni non immediatamente evidenti, l'intelligenza artificiale utilizza i trattini lunghi con una frequenza dieci volte superiore rispetto agli esseri umani.
Gli esseri umani utilizzano in media 5 trattini lunghi ogni 10.000 parole. La maggior parte dei modelli supera tale media di 7-9 volte, mentre Gemini 3 Pro utilizza meno trattini lunghi rispetto agli scrittori umani.
| Famiglia di modelli | ogni 10.000 | Moltiplicatore |
|---|---|---|
| Valori di riferimento umani | 5 | 1× |
| OpenAI | 45 | 9× |
| Open Source | 37 | 8× |
| Antropico | 32 | 7× |
| Google (Gemini 3 Pro) | 3 | 0.7× |
Una teoria: l'uso eccessivo del trattino lungo generato dall'IA ha registrato un'impennata nel 2024, in seguito alla diffusione iniziale dei modelli di linguaggio di grandi dimensioni (LLM), portando alcuni a ipotizzare che ciò derivi dai modelli di base dei parser di documenti utilizzati dalle aziende per analizzare e addestrare i modelli su libri e altri documenti cartacei di grandi dimensioni.
Mentre un essere umano scriverebbe «mele, arance e banane», un modello ricorre a un'interruzione di riga e a un trattino, soprattutto per organizzare meglio il testo nelle interfacce di chat dal ritmo serrato. Non si tratta di un errore, ma piuttosto di un'abitudine strutturale. I modelli li producono a una frequenza circa nove volte superiore a quella umana, spesso in contesti in cui una prosa risulterebbe più naturale.
Mentre un essere umano potrebbe scrivere: L'amilasi viene prodotta dalle ghiandole salivari e dal pancreas, che la rilasciano nell'intestino tenue per scomporre gli amidi.
La regola del tre è un modello linguistico che esiste da secoli. Molte triadi sono entrate a far parte del nostro vocabolario comune: «sangue, sudore e lacrime», «passato, presente e futuro» o anche «ridurre, riutilizzare, riciclare!». Ma l'intelligenza artificiale va oltre ciò che spesso ci sembra naturale, ricorrendo a queste espressioni circa quattro volte più spesso degli esseri umani.
Uno dei modelli più inspiegabili dell'IA, "Non solo X ma Y", si riferisce a uno schema estremamente diffuso. L'IA ama sottolineare che qualcosa non è solo una cosa, ma è qualcosa di completamente diverso! L'IA utilizza frasi che rientrano in questo schema tre volte più spesso degli esseri umani.
I caratteri Unicode insoliti sono caratteri che non si trovano sulla tastiera di nessuno: trattini decorativi, operatori matematici, glifi a forma di freccia, caratteri per disegnare riquadri o indicatori in stile interfaccia utente. Questi possono comparire nel testo scritto da persone, ma sono rari. Inoltre, i caratteri Unicode insoliti utilizzati in un contesto testuale altrimenti non correlato possono talvolta indicare tentativi di umanizzazione.
| Char | Codepoint | Nome | Moltiplicatore |
|---|---|---|---|
| ─ | U+2500 | disegni di scatole, luci, orizzontali | 940× |
| ≈ | U+2248 | quasi uguale a | 241× |
| ⚠ | U+26A0 | cartello di avvertimento | 57× |
| → | U+2192 | freccia a destra | 48× |
«Certo! Ecco…» «Certo! Ecco un…» «Sarei felice di…» Queste frasi di apertura tipiche dei chatbot allegri sono il risultato del modo in cui i modelli vengono addestrati a rispondere ai prompt. Possono essere un indizio inequivocabile del fatto che un testo sia stato generato dall’IA, ma gli autori più esperti di solito le eliminano.
Un esempio di come i modelli vengono addestrati a rispondere ai prompt.
| Frase | Umano / 10.000 | IA / 10.000 | Moltiplicatore |
|---|---|---|---|
| «Certo! Ecco qui» | 0 | 94 | 70× |
| «Certo! Ecco qui un...» | 0 | 23 | 18× |
| “Ecco cosa devi sapere” | 5 | 85 | 11× |
| «Ne sarei felice» | 54 | 358 | 5× |
Zero esseri umani ha scritto «Certamente! Eccone una». L'IA l'ha scritto 94 volte.
Nel complesso, l'uso delle emoji nei testi generati dall'IA è appena superiore a quello umano; gli esseri umani le utilizzano con la stessa frequenza. Ma la distribuzione delle singole emoji varia notevolmente. I simboli di spunta, i segnali di avvertimento e i numeri sui tasti compaiono con una frequenza centinaia di volte superiore rispetto alla media umana, mentre gli esseri umani ricorrono alle faccine per esprimersi molto più spesso rispetto all'IA.
L'uso complessivo delle emoji è appena superiore alla media nei testi generati dall'intelligenza artificiale. Ma alcune emoji presentano differenze notevoli: i simboli generati dall'interfaccia utente compaiono centinaia di volte in più rispetto alla media umana.
| Emoji | Nome | Moltiplicatore |
|---|---|---|
| ✅ | segno di spunta bianco e marcato | 167× |
| 2️⃣ | tasto due | 129× |
| 4️⃣ | tasto numero quattro | 98× |
| 3️⃣ | tasto numero tre | 86× |
| ✔️ | segno di spunta | 64× |
| 1️⃣ | tasto 1 | 61× |
| 🚀 | razzo | 26× |
| ❌ | segno di spunta | 24× |
Le emoji di uso quotidiano compaiono un po' più spesso nella parte dedicata agli esseri umani:
| Emoji | Moltiplicatore |
|---|---|
| 😊 | 0.6× |
| ❤️ | 0.2× |
