Verificatore di saggi basato sull'intelligenza artificiale: cosa funziona davvero per verificare i compiti scritti degli studenti

Secondo la ricerca più recente del College Board, il 74% dei docenti di college e università riferisce che gli studenti utilizzano l’IA per scrivere i propri saggi.

E questo dato non tiene nemmeno conto di quanti studenti utilizzino l’IA senza essere scoperti. Rappresenta solo i docenti che se ne sono accorti.

Con un uso così diffuso dell’IA nel mondo accademico, imparare a riconoscere i tratti distintivi dei modelli linguistici di grandi dimensioni (LLM) e verificare l’integrità degli scritti degli studenti non è più facoltativo. Da qui è nato il controllo dei saggi tramite IA, che è (nel bene e nel male) l’ennesimo LLM che promette di aiutare a identificare l’uso dell’IA, spesso con risultati contrastanti.

Oggi vedremo cos’è un controllo dei saggi tramite IA, come funziona e se è possibile utilizzarlo per verificare con successo gli scritti degli studenti.

Che cos’è un correttore di saggi basato sull’intelligenza artificiale?

Un “essay checker” basato sull’intelligenza artificiale è uno strumento software che analizza un testo scritto, in questo caso un saggio di uno studente, alla ricerca di indizi che indichino l’uso dell’IA. L’obiettivo è verificare che lo studente abbia scritto il saggio senza l’ausilio di modelli di linguaggio di grandi dimensioni (LLM) e, in alcuni casi, individuare errori ortografici e grammaticali comuni.

Il termine “essay checker” comprende due funzioni distinte, ed è utile distinguerle prima di valutare qualsiasi strumento.

Strumenti di controllo per la grammatica e la chiarezza dei saggi

Il primo tipo di strumento di verifica dei saggi aiuta chi scrive a migliorare una bozza controllandone la grammatica, la chiarezza, la struttura e le citazioni. Questi strumenti sono generalmente ben accettati in ambito scolastico.

Tra i più comuni strumenti di verifica per il miglioramento della scrittura figurano:

• ProWritingAid
• Quillbot
• Paperpal
• Hemingway Editor
• Grammarly (anche se ora include il rilevamento tramite IA nella sua suite)

Strumenti di verifica per accertare l'origine dei testi

Il secondo tipo di strumento di verifica dei saggi controlla l’origine di un testo. Ciò comporta l’individuazione di testi generati dall’intelligenza artificiale (ovvero, se il testo è stato creato da una macchina) e, talvolta, anche la ricerca di plagi.

Tra gli esempi più comuni di questo tipo di strumento figurano:

• Pangram
• Originality.ai
• GPTZero
• Turnitin

La maggior parte dei docenti non ha nulla da ridire sugli strumenti automatici di controllo grammaticale e ortografico, quindi questi strumenti di verifica dei saggi non rappresentano un problema quando si tratta di questioni relative all’integrità accademica.

Quando si parla invece di studenti che utilizzano l’intelligenza artificiale per generare l’intero saggio, la situazione cambia completamente. Ed è proprio in questi casi che molti docenti iniziano a cercare il secondo tipo di strumento di verifica dei saggi, che li aiuti a accertare l’autenticità dei lavori degli studenti.

Suggerimento: alcuni presunti strumenti di verifica dei saggi basati sull’IA includono anche funzioni di “umanizzazione”, che consentono a chi utilizza l’IA di randomizzare facilmente il testo per renderlo più naturale (pur rimanendo comunque il risultato intrinseco di un modello di linguaggio grande, o LLM). Questa funzione è l’opposto di ciò che cerchi come docente, quindi evita gli strumenti che offrono questa caratteristica.

Qual è la differenza tra un strumento di verifica dei saggi e uno di controllo del plagio?

Ci capita spesso di ricevere questa domanda, ed è facile confondere le due cose. Tuttavia, la differenza tra un verificatore di saggi basato sull’IA e un verificatore antiplagio è piuttosto semplice: risolvono due problemi diversi.

Un verificatore di saggi basato sull’IA si chiede: “Questo testo è stato scritto da un’IA?” e fornisce all’analista un punteggio che indica quanto sia probabile che la risposta a tale domanda sia “Sì”. Non indica da dove provenga un eventuale testo generato dall’IA, ma solo che è stato generato da un modello di linguaggio (LLM).

D’altra parte, un controllo antiplagio si chiede: «Questo testo è stato copiato da una fonte esistente?», cerca corrispondenze quasi parola per parola tra milioni di articoli, siti web, forum e database, e fornisce all’analista le parti evidenziate che illustrano il proprio lavoro.

Se sei un insegnante, probabilmente riesci già a riconoscere la necessità di entrambi questi strumenti. Sebbene vi sia una certa sovrapposizione tra i due (l’IA può plagiare sulla base dei propri dati di addestramento), ciascuno soddisfa un’esigenza distinta. Esistono due modi in cui uno studente può tentare di aggirare un compito piuttosto che portarlo a termine, e due soluzioni diverse.

Quanto sono precisi i correttori automatici di saggi basati sull'intelligenza artificiale?

Nel mondo del rilevamento basato sull'intelligenza artificiale, la precisione non è rappresentata da un unico valore numerico e nessuno strumento è accurato al 100% in ogni occasione. L'efficacia di uno strumento di rilevamento basato sull'intelligenza artificiale dipende da due fattori:

• Il tasso di rilevamento indica la capacità dello strumento di rilevamento di individuare, in primo luogo, l'uso dell'IA.
• Il tasso di falsi positivi (FPR) indica la percentuale con cui lo strumento identifica erroneamente un testo scritto da un essere umano come generato dall'intelligenza artificiale.

Un'infografica che mette a confronto il tasso di rilevamento e il tasso di falsi positivi nei sistemi di correzione automatica dei saggi basati sull'intelligenza artificiale.

I falsi positivi rappresentano una delle principali preoccupazioni per i docenti, poiché avanzare qualsiasi accusa di disonestà accademica può essere rischioso, e farlo sulla base di un falso positivo può portare a un voto negativo ingiustificato o addirittura all’espulsione.

La maggior parte dei sistemi di rilevamento presenta un punto debole. I testi brevi e quelli pesantemente modificati sono i più difficili da analizzare per tutte le soluzioni di rilevamento basate sull’intelligenza artificiale, ma in particolare per gli strumenti di analisi basati sulla perplessità.

Ecco perché il tasso di falsi positivi (FPR) di Pangram, verificato da terzi e pari allo 0,01%, lo rende un rilevatore affidabile per l’uso nell’istruzione superiore. La tecnologia di rilevamento basata su reti neurali che utilizziamo resiste ai programmi di parafrasi e di “umanizzazione”, quindi potete stare certi che la probabilità di un falso positivo è la più bassa possibile.

L'uso dell'intelligenza artificiale per scrivere un saggio costituisce una forma di disonestà accademica?

Scrivere un saggio utilizzando l’IA non equivale esattamente a un plagio, ma la maggior parte delle università lo considera una violazione dell’integrità accademica. Il motivo risiede nel modo in cui le politiche sull’integrità accademica definiscono tali infrazioni.

“Il plagio è l’atto di presentare come proprie idee, ricerche o scritti che non sono propri. Esempi di plagio includono: copiare le parole o le immagini effettive di un’altra persona o di uno strumento di IA senza l’uso di virgolette e citazioni che attribuiscano le parole alla loro fonte.”

- City University of New York


Secondo molte definizioni di plagio, comprese quelle dell ’Università del Michigan e dell’Università di Oxford, il punto fondamentale è che si tratta di presentare un lavoro che non si è svolto personalmente.

Utilizzare un modello di linguaggio (LLM) per generare testo significa avvalersi della capacità dell’IA di prevedere probabili sequenze di parole per portare a termine un compito, il che è nettamente diverso dal completarlo autonomamente. Quando uno studente presenta questo lavoro, sta spacciando il lavoro di qualcun altro per proprio, il che corrisponde alla definizione comune di plagio.

Come verificare se un saggio è stato scritto dall'IA (passo dopo passo)

Ora che abbiamo chiarito cos’è un correttore di saggi basato sull’intelligenza artificiale e come funziona, vediamo come correggere un saggio seguendo una procedura in grado di reggere a un controllo.

Un'immagine che illustra i quattro passaggi per verificare se un saggio è stato scritto dall'intelligenza artificiale.

1. Eseguire il testo

Il primo passo è, ovviamente, quello di sottoporre il saggio a un rilevatore di IA. Puoi farlo con un semplice copia-incolla oppure direttamente dall’LMS in cui è già presente il lavoro.

Pangram offre un’estensione per Chrome e integrazioni con Canvas e Blackboard, così non dovrai esportare i testi degli studenti per la valutazione. Se però preferisci quel flusso di lavoro, fai pure!

2. Verifica il punteggio di probabilità dell'IA

Una volta analizzato il testo, otterrai un punteggio. Il punteggio non sarà un “sì” o un “no”, ma una scala o una percentuale che indica la probabilità che il testo sia stato generato da un LLM. Si tratta più che altro di un segnale di orientamento per te, piuttosto che di un verdetto in senso stretto.

Se il saggio ottiene un punteggio del 100% come scritto da un essere umano, puoi andare avanti. Un punteggio inferiore, invece, è un segnale che indica la necessità di un’ulteriore analisi.

3. Leggere i flag a livello di segmento

Per i saggi in cui è stata rilevata una certa percentuale di contenuto generato dall’IA, è questo il momento in cui occorre approfondire l’analisi. È anche qui che un rilevatore rigoroso si distingue dagli altri.

A questo punto del processo, Pangram (ad esempio) è in grado di evidenziare i passaggi specifici all’interno di un saggio che contengono modelli tipici dell’IA. È possibile vedere dove si verifica il segnalamento, cosa lo ha causato e se il problema è dovuto a tre frasi o se è l’intero saggio a essere sotto sospetto.

Questo livello di dettaglio sarà utile se dovrete spiegare il vostro ragionamento a uno studente o a una commissione per l’integrità accademica.

4. Verificare il contesto prima di prendere qualsiasi decisione

Infine, è sempre opportuno confrontare i passaggi segnalati, o anche intere opere, con i lavori precedenti dello studente e con il suo stile caratteristico.

Il lavoro che state analizzando corrisponde ai lavori precedenti? Sembra diverso dal modo in cui lo studente scrive nei compiti in classe o nei compiti scritti? Le risposte a queste domande vi aiuteranno a formulare il vostro giudizio.

Nel corso di questa discussione, ricordate che il punteggio fornito da un rilevatore di IA è solo un tassello di un puzzle più ampio.

Cosa cercare in uno strumento di verifica dei saggi basato sull'intelligenza artificiale

La priorità assoluta nella ricerca di uno strumento di verifica dei saggi basato sull’intelligenza artificiale dovrebbe essere l’accuratezza. Segnalare erroneamente un lavoro scritto da un essere umano non giova a nessuno e può causare molti danni.

Come possiamo evitare che ciò accada?

Quando valutate potenziali strumenti di verifica dei saggi basati sull’intelligenza artificiale, prestate attenzione a questi sei aspetti:

1. Un basso tasso di falsi positivi: il FPR di Pangram, verificato da terzi, pari allo 0,01%, significa che quando lo strumento segnala un saggio, puoi intervenire senza doverti chiedere se stai per accusare uno studente onesto.
2. Analisi a livello di segmento: un punteggio unico per l'intero documento non è particolarmente utile. I segnalatori a livello di frase indicano esattamente quali passaggi sembrano generati dall'IA, consentendoti così di individuare le differenze.
3. Rilevamento simultaneo dell'intelligenza artificiale e del plagio: uno strumento che verifica la presenza di testo generato e di testo copiato in un unico passaggio colma entrambe le lacune contemporaneamente, invece di costringerti a eseguire due controlli distinti su ogni contributo inviato.
4. Supporto per oltre 20 lingue: purtroppo, alcuni dei sistemi di rilevamento meno affidabili potrebbero erroneamente segnalare i testi degli studenti ESL come generati dall’IA. È importante cercare un supporto linguistico ampio, in modo che i tuoi studenti multilingue vengano valutati in modo equo.
5. Integrazione con il sistema di gestione dell'apprendimento (LMS): un rilevatore che ti costringe a uscire dal registro dei voti non fa altro che aumentare il carico di lavoro e il numero di passaggi da compiere. È meglio cercare un rilevatore basato sull'intelligenza artificiale che ti semplifichi la vita, non che te la complichi.
6. Convalida indipendente da parte di terzi: soprattutto, è fondamentale che lo strumento sia in grado di reggere a un esame approfondito, quindi cercate uno strumento che sia stato testato e verificato da fonti indipendenti.

Se riuscite a trovare un programma di verifica che superi questi sei controlli, saprete di avere tra le mani uno strumento di qualità in grado di mantenere le promesse fatte.

Domande frequenti sui correttori automatici di saggi basati sull'intelligenza artificiale

Hai ancora domande sull'uso dell'IA nei saggi e su come riconoscerla? Abbiamo le risposte che cerchi.

Esiste uno strumento gratuito per la correzione automatica dei saggi basato sull'intelligenza artificiale?

Tecnicamente sì, diversi strumenti offrono un servizio gratuito di controllo dei saggi tramite IA, ma ciò comporta solitamente dei limiti relativi al numero di parole, al numero di controlli mensili o alla profondità dell’analisi fornita.

In teoria sembra una buona soluzione, ma tali limiti comportano spesso un tasso più elevato di falsi positivi, il che rende i punteggi meno utili ai fini dell’integrità accademica.

I programmi di verifica dei saggi funzionano davvero?

Uno strumento di verifica dei saggi funziona in genere bene quando presenta un’elevata percentuale di rilevamento abbinata a un tasso di falsi positivi prossimo allo zero. Se lo strumento che stai valutando non rende pubblica la propria metodologia di rilevamento, diffida. Gli strumenti che segnalano come generata dall’IA una quota significativa di testi scritti da esseri umani (o viceversa) non sono in alcun modo utili.

Esiste un correttore automatico di saggi basato sull'intelligenza artificiale gratuito e affidabile a cui affidare la valutazione dei miei saggi?

È certamente possibile trovare un correttore di saggi basato sull'intelligenza artificiale gratuito (basta una semplice ricerca su Google per trovarne decine), ma ciò non significa che funzionerà nel modo desiderato. Prima di affidarsi a qualsiasi strumento, gratuito o meno, è bene assicurarsi sempre che sia stato testato e verificato in modo indipendente da un ente terzo affidabile.

Trova il correttore di saggi più adatto per garantire l'integrità accademica

In definitiva, se devi verificare i compiti scritti dei tuoi studenti, devi essere certo che qualsiasi strumento utilizzi a tal fine produca risultati affidabili. Ecco perché siamo così orgogliosi del nostro tasso di falsi positivi dello 0,01% su Pangram: offre a docenti e responsabili accademici la sicurezza necessaria per intraprendere azioni giustificabili.

Vuoi provarlo sui compiti dei tuoi studenti? Inizia subito a utilizzare l’estensione Pangram per Chrome e controlla i saggi direttamente dal tuo LMS.