Come funziona il rilevamento tramite IA?

Punti chiave:

1. I modelli di linguaggio di grandi dimensioni (LLM) presentano determinati schemi che consentono a diversi strumenti di rilevamento dell'IA di stabilire se un testo sia stato generato da un essere umano o dall'IA.
2. I vecchi rilevatori si basavano sui concetti di burstiness e perplessità, ma questi sono inaffidabili. I nuovi rilevatori funzionano molto meglio e si basano su set di dati più ampi e sull'apprendimento attivo.
3. Quando si sceglie un software di rilevamento, gli utenti dovrebbero stabilire quali livelli di falsi positivi e falsi negativi ritengono accettabili. Prima di scegliere uno strumento, dovrebbero inoltre valutare se hanno bisogno di un controllo antiplagio o di altre funzionalità.
4. Le persone che non hanno ricevuto una formazione specifica sul riconoscimento dei testi generati dall'intelligenza artificiale non sono molto brave in questo. Tuttavia, chi ha seguito una formazione in materia o è regolarmente esposto a testi generati dall'intelligenza artificiale è in grado di identificare tali contenuti meglio di chi non ha alcuna preparazione. Questo tipo di riconoscimento, se combinato con l'uso di software, può funzionare molto bene.

Cosa sono i rilevatori di IA?

È possibile individuare i testi generati dall'intelligenza artificiale. Non si tratta di magia nera, ma di qualcosa che si basa su una solida base di ricerca. In un'epoca in cui i contenuti generati dall'IA sono sempre più diffusi nel mondo accademico, nei media e nel mondo degli affari, la capacità di distinguere tra testi scritti da esseri umani e quelli scritti da macchine è una competenza fondamentale. L'IA compie scelte linguistiche, stilistiche e semantiche che possono essere tutte individuate da un occhio esperto o da un software di rilevamento automatico sufficientemente avanzato. Questo perché siamo in grado di comprendere perché l'IA si esprime in un certo modo e quali sono gli schemi che possiamo utilizzare per individuarla.

Come funzionano i modelli linguistici di grandi dimensioni?

Prima di parlare di come funzionano i software di rilevamento dell'IA, è importante capire che i modelli di intelligenza artificiale sono distribuzioni di probabilità. Un modello linguistico di grandi dimensioni (LLM), come ChatGPT, ne è una versione estremamente complessa, che prevede costantemente la parola o il "token" successivo più probabile in una sequenza. Queste distribuzioni di probabilità vengono apprese da un'enorme quantità di dati, che spesso coprono una parte significativa del web pubblico.

Una domanda che si sente spesso è: «I modelli linguistici basati sull’intelligenza artificiale rappresentano la media di tutto ciò che scrivono gli esseri umani?». La risposta è chiaramente no. I modelli linguistici non si limitano a calcolare la media di ciò che dicono tutti gli esseri umani. Innanzitutto, i modelli linguistici compiono scelte altamente soggettive. Sono inoltre fortemente influenzati dai pregiudizi insiti nei set di dati utilizzati per l’addestramento e in quelli dei loro creatori. Infine, i moderni modelli linguistici di grandi dimensioni (LLM) sono ottimizzati per seguire le istruzioni e dire ciò che gli utenti vogliono sentire, piuttosto che per la correttezza o l'accuratezza, una caratteristica che li rende assistenti utili ma fonti inaffidabili di verità.

Ciò è dovuto alla moderna procedura di addestramento dei modelli LLM, che si articola in tre fasi:

1. Pre-addestramento: durante questa fase dell'addestramento, il modello apprende i modelli statistici del linguaggio. In questi modelli si riflettono i pregiudizi presenti nei dati di addestramento. Ad esempio, i dati che compaiono frequentemente su Internet, come quelli di Wikipedia, sono sovrarappresentati, motivo per cui il testo generato dall'IA ha spesso un tono formale ed enciclopedico. Inoltre, per creare i dati di addestramento viene impiegata manodopera a basso costo e in outsourcing; è così che parole come "delve", "tapestry" e "intricate" diventano estremamente comuni nei testi generati dall'IA, riflettendo le norme linguistiche dei creatori dei dati piuttosto che quelle dell'utente finale.
2. Ottimizzazione delle istruzioni: durante questa fase, il modello impara a seguire le istruzioni e a obbedire agli ordini. La conseguenza è che il modello impara che è meglio seguire le istruzioni piuttosto che presentare informazioni accurate e corrette. Ciò si traduce in un comportamento servile o "accondiscendente", in cui l'IA dà la priorità alla generazione di una risposta utile e che suoni gradevole, anche se per farlo deve inventare fatti o "allucinare". Per loro è più importante accontentare le persone che fornire informazioni corrette.
3. Allineamento: in questa fase, il modello impara a esprimere ciò che piace e ciò che le persone preferiscono. Impara a distinguere tra ciò che è "giusto" e ciò che è "sbagliato" dire. Tuttavia, questi dati sulle preferenze possono essere estremamente distorti, favorendo spesso risposte neutre, prudenti e inoffensive. Questo processo può privare il modello di una voce propria, portandolo a evitare polemiche o opinioni forti. Il modello di linguaggio di grandi dimensioni (LLM) non ha alcun fondamento intrinseco nella verità o nella correttezza.

I modelli di IA generativa sono prodotti, lanciati dalle aziende tecnologiche, che incorporano intenzionalmente pregiudizi e comportamenti che si riflettono nei loro risultati.

Quali sono i modelli nel linguaggio dell'IA?

Una volta compreso come vengono addestrati i modelli di linguaggio (LLM), è possibile individuare i "segnali rivelatori" degli strumenti di scrittura basati sull'intelligenza artificiale. Spesso non è un singolo indizio decisivo, ma una combinazione di tutte queste parole a far scattare i segnali di allarme.

Linguaggio e stile

• Scelta lessicale: gli autori di contenuti basati sull'intelligenza artificiale hanno parole preferite, quali: aspetto, sfide, approfondire, migliorare, arazzo, testamento, autentico, completo, cruciale, significativo, trasformativo, e avverbi come inoltre e per di più. Ciò è dovuto a un pregiudizio presente nei set di dati utilizzati per il pre-addestramento. L'uso frequente di queste parole può creare un tono eccessivamente formale o pomposo, che spesso risulta fuori luogo nel contesto di un tipico saggio studentesco o di una comunicazione informale.
• Modelli di espressione: la scrittura generata dall'IA ricorre a modelli di espressione quali «mentre [verbo] l'argomento», «è importante notare che», «non solo, ma anche», «aprendo la strada» e «quando si tratta di». Queste espressioni, pur essendo grammaticalmente corrette, vengono spesso utilizzate come riempitivi nel linguaggio colloquiale e possono conferire al testo un tono generico e stereotipato.
• Ortografia e grammatica: i testi generati dall'intelligenza artificiale presentano generalmente un'ortografia e una grammatica impeccabili e tendono a ricorrere a frasi complesse. I testi scritti da esseri umani, invece, alternano frasi semplici e complesse; persino gli scrittori esperti, talvolta, utilizzano strutture grammaticali non "perfettamente ortodosse" per ragioni stilistiche, come ad esempio l'uso di frasi incomplete a scopo enfatico.

Struttura e organizzazione

• Paragrafi e struttura delle frasi: la scrittura generata dall'intelligenza artificiale tende generalmente a utilizzare paragrafi molto strutturati, tutti di lunghezza simile, e strutture simili a elenchi. Ciò può determinare un ritmo monotono, privo delle variazioni naturali tipiche della scrittura umana. Lo stesso vale anche per la lunghezza delle frasi.
• Introduzioni e conclusioni: i saggi generati dall'intelligenza artificiale presentano solitamente un'introduzione e una conclusione molto ordinate; la conclusione, in particolare, è spesso molto lunga, inizia con espressioni come «Nel complesso» o «In conclusione» e ripete gran parte di quanto già scritto, limitandosi essenzialmente a riformulare la tesi e i punti principali senza aggiungere nuove riflessioni o sintesi.

Scopo e personalità

• Scopo e intento: il testo è solitamente molto vago e pieno di generalità. Ciò accade perché l'ottimizzazione delle istruzioni privilegia eccessivamente il rispetto delle istruzioni fornite e, per rimanere in tema, il modello impara che è meglio essere molto vago e generico per ridurre al minimo il rischio di fornire risposte errate.
• Riflessione e metacognizione: l'intelligenza artificiale è molto carente nel riflettere e nel mettere in relazione ciò che scrive con le esperienze personali... perché non ha esperienze personali a cui fare riferimento! La scrittura umana è in grado di trasmettere la voce unica e l'esperienza personale dell'autore, creando collegamenti e generando idee originali che non sono semplicemente un rimix di informazioni già esistenti.
• Cambiamenti improvvisi di stile e tono: a volte si verificano cambiamenti di tono e stile molto bruschi e stridenti. Ciò accade quando uno studente ricorre all'intelligenza artificiale per una parte dei propri scritti, ma non per la totalità, dando vita a un prodotto finale incoerente e disarticolato.

Come funziona il rilevamento tramite IA: tre passaggi

1. Addestrare il modello di rilevamento basato sull'IA: in primo luogo, il modello viene addestrato. I primi rilevatori basati sull'IA non funzionavano molto bene perché cercavano di individuare porzioni di testo caratterizzate da un'elevata perplessità o da un'elevata burstiness. La perplessità indica quanto ogni parola in un testo sia inaspettata o sorprendente per un modello linguistico di grandi dimensioni. La variabilità è la variazione della perplessità nel corso di un documento. Tuttavia, questo approccio presenta diversi difetti e spesso non riesce a rilevare i risultati generati dall'IA. Inoltre, utilizza solo un set di dati testuali limitato per l'addestramento. I modelli moderni e di successo, come Pangram, utilizzano un set di dati più ampio e impiegano tecniche come l'apprendimento attivo per ottenere risultati più accurati.
2. Inserisci il testo da classificare e tokenizzalo: l'utente fornisce l'input. Quando un classificatore riceve il testo in ingresso, lo tokenizza. Ciò significa che prende tutto il testo e lo scompone in una serie di numeri che il modello è in grado di interpretare. Il modello trasforma quindi ogni token in un embedding, ovvero un vettore di numeri che rappresenta il significato di ciascun token.
3. Classificare il token come umano o IA: l'input viene elaborato dalla rete neurale, generando un embedding di output. Una testa di classificazione trasforma l'embedding di output in una previsione 0 o 1, dove 0 indica l'etichetta "umano" e 1 l'etichetta "IA".

E i falsi positivi e i falsi negativi?

Il valore di uno strumento di rilevamento dell'IA si misura in base al numero di falsi positivi (FPR) e falsi negativi (NPR) che ne derivano . Si parla di falso positivo quando un rilevatore identifica erroneamente un campione di testo scritto da un essere umano come se fosse stato generato dall'IA. Al contrario, si parla di falso negativo quando un campione generato dall'IA viene erroneamente identificato come testo scritto da un essere umano.

Rilevamento manuale vs. rilevamento automatico

Se si sceglie di individuare l'intelligenza artificiale basandosi esclusivamente sull'osservazione visiva, è necessario aver seguito una formazione specifica. I non esperti non possono ottenere risultati migliori di quelli che si otterrebbero indovinando a caso. Persino i linguisti esperti non sono in grado di individuare l'intelligenza artificiale senza una formazione specifica. Il nostro consiglio è di utilizzare entrambi i metodi per ottenere i migliori risultati, creando così un processo di valutazione più solido ed equo.

D'altra parte, i rilevatori di contenuti generati dall'IA possono indicare se un testo è stato creato o meno da strumenti di intelligenza artificiale. Gli esseri umani, invece, non solo sono in grado di stabilire se un testo sia stato generato dall'IA, ma possono anche fornire un contesto più ampio e sfumature aggiuntive a tale valutazione. Un essere umano conosce il contesto: i precedenti esempi di scrittura dello studente, lo stile di scrittura tipico del suo livello scolastico e come si presenta una tipica risposta a un compito da parte di uno studente. Questo contesto è fondamentale, poiché l'adeguatezza dell'uso dell'IA può variare notevolmente a seconda delle istruzioni del compito.

Gli strumenti di rilevamento basati sull'intelligenza artificiale sono solo l'inizio. Non costituiscono una prova definitiva del fatto che uno studente abbia violato l'integrità accademica, ma piuttosto un primo indizio che giustifica un'indagine più approfondita e contestualizzata. L'uso dell'intelligenza artificiale può essere involontario, accidentale o addirittura consentito nell'ambito del compito specifico assegnato: dipende dai casi!

Bonus: E gli Humanizers?!

Gli "humanizer" sono strumenti utilizzati per "umanizzare" i contenuti generati dall'IA al fine di eludere i sistemi di rilevamento. Gli autori di contenuti li utilizzano spesso per modificare l'aspetto dei testi scritti dall'IA. Gli humanizer parafrasano il testo, rimuovono parole specifiche e aggiungono "errori" simili a quelli umani a un contenuto. A volte questo rende il testo praticamente illeggibile o ne abbassa significativamente la qualità. Molti rilevatori di IA addestrano il proprio software a individuare il testo umanizzato. Spesso è rischioso utilizzare un humanizer perché può abbassare drasticamente la qualità del testo, il che è particolarmente preoccupante per i lavori degli studenti.

Ora che sai come funzionano, prova con i tuoi contenuti. È opera dell'IA o di un essere umano?