Come raccogliere prove per un caso di integrità accademica relativo all'intelligenza artificiale

Desideriamo ringraziare Marilyn Derby, vicedirettrice del dipartimento Student Support and Judicial Affairs dell'Università della California, Davis, per il suo contributo alle idee espresse in questo articolo e per alcune delle risorse visive utilizzate in questo post. Desideriamo inoltre ringraziare Amanda Clarke, presidente del dipartimento di inglese della Viewpoint School in California, per il suo eccellente riferimento sulla distinzione tra le caratteristiche della scrittura degli studenti e quella dell'intelligenza artificiale.

Forse hai ricevuto un saggio e hai la sensazione che non sia stato scritto da uno studente della tua classe. Lo inserisci in Pangram e ottieni una certezza del 99,9% che il testo sia stato generato dall'intelligenza artificiale.

Oppure sei un responsabile dell'integrità accademica e un professore segnala il lavoro di uno studente per plagio generato dall'intelligenza artificiale, ma lo studente e i genitori insistono che lo studente lo ha scritto da solo.

Leggi il testo e noti tutti i segni rivelatori della scrittura generata dall'intelligenza artificiale. "Nell'era tecnologica odierna", inizia il testo. Lo studente spiega che un autore "intreccia i dettagli in modo intricato attraverso un ricco mosaico di prospettive". Il saggio, grammaticalmente perfetto e strutturato in modo uniforme, si conclude con la classica frase "In conclusione..." o forse "Nel complesso...".

Sai bene che il tuo studente non ha scritto il compito, ma non riesci a provarlo. Quando le persone che stai cercando di convincere dicono: "I rilevatori di IA non funzionano e non sono affidabili" o "È impossibile saperlo con certezza", cosa fai?

Come abbiamo già detto in precedenza, un rilevamento positivo da parte dell'IA è solo l'inizio della conversazione e non può mai essere l'unico elemento preso in considerazione quando si valuta l'opportunità di intraprendere un'azione punitiva nei confronti di uno studente. Pur garantendo l'accuratezza del nostro prodotto, riteniamo che nei casi più delicati sia necessario adottare un approccio olistico e raccogliere ulteriori prove dopo il punteggio di rilevamento dell'IA, al fine di dimostrare oltre ogni ragionevole dubbio che il lavoro di uno studente non è autentico o originale.

Oggi parleremo di 7 strategie per raccogliere ulteriori prove per casi di questo tipo.

1. Accumulare prove testuali più dettagliate

La scrittura generata dall'intelligenza artificiale non viene mai "svelata" da una particolare frase o scelta di parole: Pangram prende la sua decisione sulla base dell'accumulo di molti segnali deboli nel testo. Allo stesso modo, è possibile cercare molti dei segnali presenti nel testo generato dall'intelligenza artificiale e utilizzarli tutti nella loro totalità per dimostrare che i segnali dell'intelligenza artificiale non potrebbero essere apparsi per caso. È necessario innanzitutto cercare le frasi comuni dell'IA e verificare se compaiono spesso. In casi evidenti, i testi generati dall'IA ne contengono così tante che è molto difficile sostenere che si tratti di una coincidenza, come negli esempi riportati di seguito.

Frasi e parole comuni relative all'intelligenza artificiale

È possibile consultare un elenco completo dei termini e delle espressioni più comunemente utilizzati nell'ambito dell'intelligenza artificiale nella guida di Jenna Russell.

Pangram è in grado di estrarre automaticamente anche queste frasi, insieme alla loro frequenza. È importante comprendere che nessuna di queste frasi è di per sé una prova che il testo sia stato generato dall'intelligenza artificiale, ma molte di queste frasi combinate insieme costituiscono una prova molto forte, poiché diventa estremamente improbabile che tutte queste frasi siano apparse per coincidenza.

Esempio di analisi della frequenza delle frasi con l'intelligenza artificiale

Oltre al livello delle singole parole e frasi, è anche possibile cercare caratteristiche di alto livello della scrittura AI.

Guida per distinguere gli scritti degli studenti da quelli generati dall'intelligenza artificiale

Questa eccellente guida di Amanda Clarke mostra alcune delle differenze di stile e tono presenti nella scrittura degli studenti rispetto alla scrittura generata dall'intelligenza artificiale. Per riassumere la guida, alcuni dei punti più importanti sono:

• La scrittura basata sull'intelligenza artificiale non ama entrare nel merito di prove specifiche, preferendo esprimersi in termini vaghi e generici. Se lo fa, può dare adito a dettagli distorti. Le riflessioni dirette degli studenti sul lavoro e le citazioni testuali specifiche sono caratteristiche della scrittura studentesca che i chatbot basati sull'intelligenza artificiale non sono ancora in grado di emulare.
• La scrittura basata sull'intelligenza artificiale non rifletterà in modo autentico su un argomento dal punto di vista di uno studente.
• La scrittura AI utilizza una grammatica sempre perfetta e uno stile fluido e neutro.

Vale anche la pena notare che quando la scrittura autentica di uno studente è mescolata con quella generata dall'intelligenza artificiale, spesso si possono verificare cambiamenti improvvisi nel tono e nello stile.

2. Raccogliere le prove del processo

Quando un lavoro è scritto da uno studente, è il risultato di un processo di scrittura del documento: brainstorming, stesura di una bozza, revisione e correzione. Quando un lavoro è plagiato da un'intelligenza artificiale generativa, spesso si tratta semplicemente di un copia e incolla.

Un modo semplice per verificare il processo di scrittura di uno studente è semplicemente quello di chiedergli di mostrare i suoi appunti, i suoi brainstorming e le sue bozze. Se si tratta di una bozza finale, chiedete di vedere la bozza preliminare. Molte volte questo è sufficiente per verificare il processo di scrittura: gli studenti onesti non hanno paura di dimostrarlo, mentre quelli che imbrogliano spesso non sono in grado di produrre questi documenti.

Sono disponibili anche strumenti per controllare il processo di scrittura dello studente. Ad esempio, Draftback è un'estensione di Chrome che è possibile utilizzare per riprodurre la cronologia di scrittura dello studente in Google Docs. Conosciamo anche Brisk Teaching, Cursive Technologies e Visible AI. Se utilizzati in combinazione con Pangram, questi strumenti possono rivelarsi molto efficaci.

Esempio di dati di riproduzione Draftback

Nella traccia Draftback sopra riportata, è possibile vedere dove lo studente ha modificato il proprio testo o se è stata effettuata un'unica operazione di copia e incolla.

Gli strumenti di scrittura non dovrebbero essere considerati una prova inconfutabile. Sapendo che gli insegnanti ora controllano la cronologia delle revisioni per verificare l'integrità accademica, gli studenti sono consapevoli del fatto che il copia e incolla li rende vulnerabili. Alcuni studenti si limitano a trascrivere i risultati di ChatGPT nei loro documenti, facendo sembrare che li abbiano scritti loro stessi.

Peggio ancora, ora esistono strumenti software che falsificano la cronologia delle revisioni, come questa estensione di Chrome chiamata "Human Auto Typer".

Esempio di estensione Chrome "Human Auto Typer"

Attenzione: sebbene esaminare il processo di scrittura e la cronologia delle revisioni di uno studente possa essere utile, oggi esistono modi che consentono agli studenti di aggirare questi semplici controlli.

3. Verifica della validità delle citazioni

L'IA generativa spesso inventa citazioni, cita erroneamente le fonti e commette altri errori nell'attribuzione dei lavori che sono evidenti da individuare. Quando i chatbot IA non sanno quali fonti sostengono una loro affermazione, il più delle volte si accontentano semplicemente di inventare una citazione fittizia. Si veda l'esempio di Claude riportato di seguito.

Esempio di Claude che inventa citazioni

Gli errori di citazione sono spesso alcune delle prove più convincenti nei casi di IA, perché la falsificazione intenzionale di una fonte di ricerca costituisce di per sé una violazione dell'integrità accademica. Spesso è sufficiente consultare la bibliografia o le opere citate e verificare se le voci corrispondono a documenti reali. Se si cerca su Google il primo documento e questo non è un documento reale, si tratta di una prova incredibilmente forte di una violazione.

Ancora una volta, occorre prestare attenzione: le citazioni reali non indicano con certezza che lo studente non abbia utilizzato l'intelligenza artificiale. Nuovi strumenti, come Deep Research e Perplexity, citano effettivamente fonti corrette e i chatbot stanno migliorando rapidamente nel non fornire fonti false.

4. Verificare che lo studente comprenda ciò che ha scritto

Uno dei modi più semplici per verificare se il lavoro di uno studente è originale o falsificato è semplicemente quello di porgli delle domande sul compito. Se il livello di scrittura del compito consegnato non corrisponde al livello di scrittura dello studente, allora chiedigli delle parti più complesse del compito. A volte, per gli studenti più giovani, basta chiedere loro il significato di una parola complicata che ChatGPT usa spesso e che gli studenti di quel livello non usano mai (come "assiomatico") per indurli ad ammettere di aver usato l'IA.

A livello universitario, dove ci si aspetta che gli studenti propongano idee originali e innovative, potresti chiedere loro come sono giunti a tali idee. Spesso questo può portare a una discussione sul processo di scrittura, durante la quale puoi raccogliere informazioni su come è stato realizzato il testo, come descritto al punto 2.

È importante mostrare empatia e creare uno spazio sicuro per la discussione. Una discussione sull'integrità accademica con gli studenti può essere molto stressante e lo studente potrebbe mettersi sulla difensiva quando gli vengono presentate le prove. Il modo migliore per inquadrare la conversazione con lo studente è semplicemente arrivare a una comprensione significativa di ciò che è accaduto, in modo da poter fare del proprio meglio per aiutare lo studente ad avere successo in futuro. Date allo studente la possibilità di correggere i propri errori e di spiegare perché ha dovuto ricorrere all'uso dell'IA invece di svolgere il compito da solo. Incoraggiamo anche l'apertura al fatto che l'uso dell'IA potrebbe essere stato il risultato di un malinteso piuttosto che di un atto intenzionale di comportamento scorretto. Abbiamo scritto di più su come avere questo tipo di conversazioni in uno dei nostri precedenti post sul blog.

5. Confronta il lavoro con i campioni precedenti dello studente.

Particolarmente applicabile agli studenti più giovani o in fase di sviluppo, la scrittura AI è spesso significativamente superiore al livello di scrittura che ci si potrebbe aspettare dalla scrittura di uno studente.

Consigliamo di recuperare i compiti scritti in precedenza dallo studente. Le università dispongono spesso di banche dati centralizzate da cui è possibile recuperare i saggi di altre classi. Se lo studente è nuovo, non esitate a chiedere al suo precedente insegnante alcuni esempi di compiti scritti da lui.

Un improvviso salto di livello nella scrittura da parte di uno studente che scrive male a uno studente che scrive con ortografia e grammatica perfette è motivo di preoccupazione.

6. Confronta il lavoro con la risposta di ChatGPT

ChatGPT non presenta spesso grandi variazioni nei suoi risultati. Quando si incolla lo stesso prompt due volte in ChatGPT, non restituisce lo stesso testo esatto, ma spesso presenta molte somiglianze difficili da attribuire a una coincidenza.

Esempio di confronto affiancato con ChatGPT

Utilizzando la funzione Side By Side di Pangram, è possibile visualizzare automaticamente il contributo accanto a quello di ChatGPT. Anche se le frasi non saranno esattamente identiche, evidenziamo e associamo quelle che hanno un significato molto simile tra loro.

Un'altra tattica consiste nel generare più risposte da ChatGPT e osservarne la somiglianza. Se la risposta inviata non può essere facilmente individuata tra le altre, allora è probabile che si tratti anch'essa di IA.

È utile conoscere il compito assegnato: in questo modo è possibile utilizzarlo direttamente come prompt per ChatGPT. Tuttavia, anche se il compito non è noto, è comunque possibile elaborare un prompt ragionevole. Si cerchi di individuare un prompt sufficientemente specifico da produrre un saggio simile a quello che si sta esaminando, ma non così specifico da renderlo identico semplicemente copiandolo. L'uso stesso di ChatGPT può essere una risorsa utile a questo scopo: incolla il saggio in ChatGPT e chiedi quali sono le idee principali, gli argomenti e le domande trattati nel documento, quindi prova più prompt per vedere quali producono saggi semanticamente simili, in modo da poter verificare se corrispondono stilisticamente.

7. Raccogli più opinioni

Secondo Russell et. al., ricerca dell'Università del Maryland di cui abbiamo già parlato in precedenza, gli esperti possono determinare con un'accuratezza del 92,7% se un testo è generato dall'intelligenza artificiale o meno. Tuttavia, un consiglio di 5 esperti, quando si esamina il voto della maggioranza, può essere quasi perfetto (nei 300 testi studiati dai ricercatori, la maggioranza era perfettamente accurata al 100%).

Ti invitiamo a formare i tuoi colleghi del reparto o della scuola su come individuare a occhio nudo i testi generati dall'intelligenza artificiale, in modo da poter ottenere più opinioni nei casi più difficili. Discutere dei diversi segnali che ogni singolo giudice rileva è un ottimo modo per acquisire maggiore sicurezza nella valutazione dell'autenticità di un testo scritto.

Inoltre, come in tutti i casi di natura legale, gli individui possono essere inconsciamente o consapevolmente influenzati nelle loro decisioni da motivi che esulano dal controllo dello studente. Ricorrere a una commissione composta da più persone per determinare se uno studente abbia violato o meno l'integrità accademica non solo può aiutarti a essere più accurato, ma alla fine dovrebbe anche contribuire a rendere il processo più equo.

L'importanza delle prove aggiuntive nei casi di IA

In questo post del blog abbiamo esaminato una serie di modi per andare oltre il punteggio e utilizzare Pangram e altri strumenti per aiutarti a raccogliere prove a sostegno della tua tesi sull'uso improprio dell'IA o per proteggere uno studente accusato di aver barato con l'IA e che in realtà è innocente.

Nessuna singola prova è assolutamente infallibile nel determinare l'esito del caso, ma più prove riesci a raccogliere e accumulare, più equo e difendibile potrà essere il tuo processo di integrità accademica.