Come raccogliere prove per un caso di integrità accademica relativo all'intelligenza artificiale

Desideriamo ringraziare Marilyn Derby, vicedirettrice del dipartimento di Supporto agli studenti e Affari giudiziari presso l’Università della California, Davis, per il suo contributo alle idee sviluppate in questo articolo e per alcune delle risorse visive utilizzate in questo post. Desideriamo inoltre ringraziare Amanda Clarke, responsabile del dipartimento di inglese presso la Viewpoint School in California, per il suo eccellente contributo sulla distinzione tra le caratteristiche della scrittura degli studenti e quelle della scrittura generata dall’intelligenza artificiale.

Forse hai ricevuto un saggio e hai la sensazione che non sia stato scritto da uno studente della tua classe. Lo analizzi con Pangram, che ti dice con una certezza del 99,9% che il testo è stato generato dall'intelligenza artificiale.

Oppure sei un responsabile dell'integrità accademica e un docente segnala un caso di plagio generato dall'intelligenza artificiale in un elaborato di uno studente, ma lo studente e i suoi genitori sostengono con fermezza che lo studente lo abbia scritto di proprio pugno.

Leggendo il testo, si notano tutti i segni rivelatori di una scrittura generata dall'intelligenza artificiale. «Nell'era tecnologica odierna», così inizia il testo. Lo studente spiega che un autore «intreccia i dettagli in modo intricato attraverso un ricco intreccio di prospettive». Il saggio, grammaticalmente perfetto e dalla struttura uniforme, si conclude con la classica frase «In conclusione, ...» o forse «Nel complesso, ...»

Nel profondo sai bene che il tuo studente non ha scritto il compito, ma non riesci proprio a dimostrarlo. Quando le persone che stai cercando di convincere ti dicono: «I rilevatori di IA non funzionano e non sono affidabili» oppure «È impossibile esserne certi», cosa fai?

Come abbiamo già detto in precedenza, un risultato positivo del rilevamento tramite IA è solo l'inizio del processo e non può mai costituire l'unico elemento su cui basarsi quando si valuta l'adozione di provvedimenti disciplinari nei confronti di uno studente. Pur garantendo l'accuratezza del nostro prodotto, riteniamo tuttavia che, in casi di particolare rilevanza, sia necessario adottare un approccio olistico e raccogliere ulteriori prove dopo il risultato del rilevamento tramite IA, al fine di dimostrare oltre ogni ragionevole dubbio che il lavoro dello studente non sia autentico o originale.

Oggi parleremo di 7 strategie per raccogliere ulteriori prove in casi di questo tipo.

1. Raccogliere prove testuali più dettagliate

I testi generati dall'IA non vengono mai "smascherati" da una singola frase o scelta lessicale: Pangram basa la propria valutazione sull'accumulo di numerosi segnali deboli presenti nel testo. Allo stesso modo, è possibile individuare molti dei segnali presenti nei testi generati dall'IA e considerarli nel loro insieme per dimostrare che tali segnali non potrebbero essere comparsi per puro caso. Si dovrebbe innanzitutto cercare le frasi comuni dell'IA e verificare se compaiono spesso. In casi evidenti, il testo generato dall'IA ne contiene così tante che è molto difficile sostenere che si tratti di una coincidenza, come negli esempi riportati di seguito.

Parole e espressioni comuni nel campo dell'intelligenza artificiale

È possibile consultare un elenco completo dei termini e delle espressioni più comuni nel campo dell'intelligenza artificiale nella guida di Jenna Russell.

Pangram è in grado di individuare automaticamente anche queste frasi, insieme alla loro frequenza. È importante capire che nessuna di queste frasi, presa singolarmente, costituisce una prova che il testo sia stato generato dall'intelligenza artificiale, ma la presenza combinata di molte di esse rappresenta un indizio molto forte, poiché diventa estremamente improbabile che tutte queste frasi siano apparse per puro caso.

Esempio di analisi della frequenza delle frasi tramite IA

Oltre al livello delle singole parole e frasi, è possibile individuare anche le caratteristiche generali della scrittura generata dall'intelligenza artificiale.

Guida per distinguere i testi scritti dagli studenti da quelli generati dall'intelligenza artificiale

Questa eccellente guida di Amanda Clarke illustra alcune delle differenze di stile e tono che si riscontrano tra i testi scritti dagli studenti e quelli generati dall'intelligenza artificiale. Per riassumere la guida, ecco alcuni dei punti più importanti:

• La scrittura generata dall'intelligenza artificiale tende a evitare riferimenti concreti, preferendo esprimersi in termini vaghi e generici. Se lo fa, può capitare che quei dettagli siano frutto di fantasia. Le riflessioni dirette degli studenti sul lavoro svolto e le citazioni testuali specifiche sono caratteristiche della scrittura degli studenti che i chatbot basati sull'intelligenza artificiale non sono ancora in grado di emulare.
• La scrittura generata dall'intelligenza artificiale non rifletterà in modo autentico su un argomento dal punto di vista di uno studente.
• La scrittura generata dall'intelligenza artificiale utilizza una grammatica sempre impeccabile e uno stile fluido e neutro.

Vale inoltre la pena notare che, quando i testi scritti dagli studenti si mescolano a quelli generati dall'intelligenza artificiale, spesso si verificano bruschi cambiamenti di tono e stile.

2. Raccogliere le prove del procedimento

Quando un lavoro è scritto da uno studente, è il risultato di un processo di stesura del documento: brainstorming, creazione della bozza, stesura, revisione e correzione di bozze. Quando invece un lavoro è plagiato da un'IA generativa, spesso si tratta semplicemente di un copia-incolla.

Un modo semplice per verificare il processo di scrittura di uno studente è semplicemente quello di chiedergli di mostrare i suoi appunti: chiedetegli di mostrarvi i suoi appunti, i suoi brainstorming e le sue bozze. Se si tratta di una bozza finale, chiedete di vedere la sua bozza preliminare. Spesso questo basta per verificare il processo di scrittura: gli studenti onesti non hanno paura di dimostrarlo, mentre quelli che imbrogliano spesso non sono in grado di produrre questi documenti.

Esistono inoltre strumenti che consentono di monitorare il processo di scrittura degli studenti. Ad esempio, Draftback è un'estensione di Chrome che permette di rivedere la cronologia di scrittura degli studenti in Google Docs. Conosciamo anche Brisk Teaching, Cursive Technologies e Visible AI. Se utilizzati in combinazione con Pangram, questi strumenti possono rivelarsi molto efficaci.

Esempio di dati di replay Draftback

Nella traccia di Draftback qui sopra, puoi vedere dove lo studente ha modificato il proprio testo o se ha semplicemente copiato e incollato un blocco di testo.

Gli strumenti di scrittura non dovrebbero essere considerati di per sé una prova inconfutabile. Sapendo che gli insegnanti controllano ormai la cronologia delle revisioni per verificare l'integrità accademica, gli studenti sono ben consapevoli del fatto che il copia-incolla li espone a rischi. Alcuni studenti si limitano a trascrivere i risultati di ChatGPT nel proprio documento, facendo sembrare che lo abbiano scritto loro stessi.

A peggiorare le cose, esistono ormai strumenti software in grado di falsificare la cronologia delle revisioni, come questa estensione di Chrome chiamata "Human Auto Typer".

Esempio di un'estensione Chrome denominata "Human Auto Typer"

È bene tenere presente che, sebbene esaminare il processo di scrittura e la cronologia delle revisioni di uno studente possa essere utile, oggi esistono modi in cui gli studenti possono aggirare questi semplici controlli.

3. Verificare la validità delle citazioni

L'IA generativa spesso inventa citazioni, riporta erroneamente le fonti e commette altri errori nell'attribuzione delle opere, errori che sono facili da individuare. Quando i chatbot basati sull'IA non sanno quali fonti sostengano un'affermazione da loro avanzata, il più delle volte si limitano semplicemente a inventare una citazione fittizia. Si veda l'esempio di Claude riportato di seguito.

Esempio di come Claude inventa delle citazioni

Gli errori di citazione sono spesso tra le prove più schiaccianti nei casi di AI, poiché la falsificazione intenzionale di una fonte di ricerca costituisce di per sé una violazione dell'integrità accademica. Spesso basta semplicemente consultare la bibliografia o l'elenco delle opere citate e verificare se le voci corrispondono a documenti reali. Se si cerca su Google il primo documento e si scopre che non è reale, ciò costituisce una prova incredibilmente forte di una violazione.

Ancora una volta, occorre prestare attenzione: la presenza di citazioni autentiche non garantisce che lo studente non abbia fatto ricorso all'intelligenza artificiale. Nuovi strumenti, come Deep Research e Perplexity, citano effettivamente fonti corrette, e i chatbot stanno migliorando rapidamente nella capacità di non generare fonti false.

4. Verificare che lo studente comprenda ciò che ha scritto

Uno dei modi più semplici per verificare se il lavoro di uno studente è originale o falsificato è semplicemente porgli delle domande sul testo. Se il livello di scrittura del lavoro presentato non corrisponde a quello dello studente, allora chiedetegli chiarimenti sulle parti più complesse del testo. A volte, per gli studenti più giovani, basta chiedere loro il significato di una parola complicata che ChatGPT usa spesso e che gli studenti di quel livello non usano mai (come "assiomatico") per indurli ad ammettere di aver usato l'IA.

A livello universitario, dove ci si aspetta che gli studenti propongano idee innovative e originali, potresti porre loro delle domande su come sono giunti a quella idea. Spesso questo può sfociare in una discussione sul processo di scrittura, durante la quale potrai raccogliere informazioni su come il testo ha preso forma, come descritto al punto 2.

È importante mostrare empatia e creare un ambiente sicuro in cui discutere. Un colloquio con gli studenti sull’integrità accademica può essere molto stressante e lo studente potrebbe assumere un atteggiamento difensivo quando gli vengono presentate le prove. Il modo migliore per impostare la conversazione con lo studente è semplicemente cercare di comprendere a fondo cosa sia successo, in modo da poter fare del proprio meglio per aiutarlo ad avere successo in futuro. Dai allo studente la possibilità di correggere i propri errori e di spiegare perché ha dovuto ricorrere all'IA invece di svolgere il compito da solo. Incoraggiamo inoltre l'apertura al fatto che l'uso dell'IA possa essere stato il risultato di un malinteso piuttosto che di un atto intenzionale di scorrettezza. Abbiamo scritto di più su come affrontare questo tipo di conversazioni in uno dei nostri precedenti post sul blog.

5. Confrontare il lavoro con i precedenti esempi dello studente

Soprattutto nel caso degli studenti più giovani o in fase di formazione, la scrittura generata dall'intelligenza artificiale è spesso di gran lunga superiore al livello che ci si potrebbe aspettare da un testo scritto da uno studente.

Consigliamo di recuperare i lavori scritti in precedenza dallo studente. Le università dispongono spesso di banche dati centralizzate da cui è possibile recuperare i saggi redatti in altri corsi. Se lo studente è nuovo per voi, non esitate a chiedere al suo precedente insegnante alcuni esempi dei suoi lavori scritti.

Un improvviso salto di qualità nella scrittura, da uno studente che scrive male a uno che scrive con ortografia e grammatica impeccabili, è motivo di preoccupazione.

6. Confronta il lavoro con la risposta di ChatGPT

I risultati generati da ChatGPT non presentano spesso grandi variazioni. Se si incolla lo stesso prompt due volte in ChatGPT, il testo restituito non sarà esattamente lo stesso, ma spesso presenterà molte somiglianze evidenti che difficilmente possono essere frutto del caso.

Esempio di confronto affiancato con ChatGPT

Grazie alla funzione "Side By Side" di Pangram, puoi visualizzare automaticamente il testo generato da ChatGPT affiancato a quello inserito dall'utente. Anche se le frasi non saranno esattamente identiche, evidenziamo e mettiamo in relazione quelle che hanno un significato molto simile tra loro.

Un'altra strategia consiste nel generare più risposte da ChatGPT e valutarne la somiglianza. Se la risposta in questione non si distingue facilmente dalle altre, è probabile che anche quella sia generata dall'IA.

È utile conoscere il compito assegnato: in questo modo puoi utilizzare direttamente il compito come prompt per ChatGPT. Ma se il compito non è noto, puoi comunque elaborare un prompt ragionevole. Cerca di individuare un prompt che sia abbastanza specifico da produrre un saggio simile a quello che stai esaminando, ma non così specifico da renderlo identico semplicemente copiandolo. L'uso stesso di ChatGPT può essere una risorsa utile a questo scopo: incolla il saggio in ChatGPT e chiedi quali sono le idee principali, gli argomenti e le domande affrontate nel documento, quindi prova diversi prompt per vedere cosa produce saggi ragionevolmente simili dal punto di vista semantico, in modo da poter verificare se corrispondono stilisticamente.

7. Raccogliere ulteriori opinioni

Secondo Russell et al., in uno studio dell'Università del Maryland di cui abbiamo già parlato in precedenza, gli esperti sono in grado di stabilire con un'accuratezza del 92,7% se un testo sia stato generato dall'intelligenza artificiale o meno. Tuttavia, un gruppo di cinque esperti, basandosi sul voto di maggioranza, può raggiungere una precisione quasi perfetta (nei 300 testi esaminati dai ricercatori, la maggioranza ha ottenuto un'accuratezza del 100%).

Vi invitiamo a formare i vostri colleghi di reparto o della scuola su come individuare a occhio nudo i testi generati dall'intelligenza artificiale, in modo da poter contare su più pareri nei casi più complessi. Discutere dei diversi indizi che ciascuno individua è un ottimo modo per acquisire maggiore sicurezza nel valutare l'autenticità di un testo.

Inoltre, come in tutti i casi di natura parzialmente giuridica, le persone possono essere influenzate, inconsciamente o consapevolmente, da pregiudizi nel loro processo decisionale per ragioni che esulano dal controllo dello studente. Ricorrere a una commissione composta da più persone per stabilire se uno studente abbia violato o meno l'integrità accademica non solo può aiutare a garantire una maggiore accuratezza, ma, in definitiva, dovrebbe anche contribuire a rendere il processo più equo.

L'importanza delle prove supplementari nei casi di intelligenza artificiale

In questo articolo del blog abbiamo esaminato una serie di modi per andare oltre il semplice punteggio e utilizzare Pangram e altri strumenti per aiutarti a raccogliere prove a sostegno della tua tesi, sia che si tratti di un uso improprio dell'IA, sia che si tratti di difendere uno studente accusato di aver imbrogliato con l'IA ma che in realtà è innocente.

Nessun elemento di prova è di per sé infallibile nel determinare l'esito del caso, ma più prove si riescono a raccogliere e a mettere insieme, più il procedimento relativo all'integrità accademica risulterà equo e sostenibile.