Cosa significa il tuo punteggio di rilevamento dell'IA?

Sottoponi il saggio di uno studente o l'articolo di un libero professionista a un rilevatore di IA. Sullo schermo compare una cifra grande e in grassetto: 65% IA. Cosa fai adesso?

I punteggi di rilevamento dell'IA non sono come una tradizionale griglia di valutazione, in cui i concetti di "superato" e "bocciato" sono chiari. La differenza tra "generato interamente dall'IA" e "modificato dall'IA" è in continua evoluzione, così come i nostri sistemi di rilevamento qui a Pangram.

Questa guida spiega in parole semplici il significato delle percentuali. Spieghiamo come un strumento di verifica dei punteggi AI calcoli le percentuali, cosa significano gli intervalli di confidenza e come determinare la soglia corretta del rilevatore AI per intervenire.

Cosa indica effettivamente questa percentuale?

Se si esegue la scansione di un documento con uno strumento di rilevamento dell'IA, si otterrà un punteggio percentuale relativo all'IA. Ad esempio, «50%». Questa percentuale non significa che il 50% del documento sia falso o generato dall'IA. Significa che, secondo lo strumento di verifica della percentuale di IA, il 50% di questo documento contiene testo generato dall'IA o redatto con l'assistenza dell'IA.

Esempio di punteggio di rilevamento tramite IA

Gli strumenti avanzati di rilevamento basati sull'intelligenza artificiale non considerano un documento come un unico, enorme blocco di testo. Al contrario, questi strumenti suddividono il testo in segmenti, frasi e paragrafi. Questi singoli blocchi vengono valutati come segmenti.

Se ottieni un punteggio del 30% su un documento di 10 pagine, ciò significa probabilmente che circa tre pagine di testo presentano gli schemi tipici di un modello di linguaggio di grandi dimensioni (LLM). Tali schemi includono, tra le altre cose, la mancanza di irregolarità e una sintassi prevedibile. Il punteggio non significa che il 30% del documento sia generato dall'intelligenza artificiale.

Come interpretare lo spettro dei punteggi AI

Se si utilizza un rilevatore di IA e un determinato documento ottiene un punteggio basso (ad esempio, il 30% generato dall'IA), ciò indica solitamente che si tratta di un documento ibrido. Un documento ibrido viene solitamente scritto da una persona e poi modificato con l'ausilio di uno strumento di IA. D'altra parte, un punteggio elevato, come l'85%, suggerisce fortemente che un testo sia interamente generato dall'IA.

Una combinazione di contenuti generati dall'intelligenza artificiale e scritti da esseri umani

Un punteggio di rilevamento AI compreso tra basso e medio si verifica spesso quando un autore:

• Utilizza strumenti come Grammarly.
• Chiede a un modello LLM, come ChatGPT, di «rendere più scorrevoli» i paragrafi che ha scritto.
• Utilizza l'intelligenza artificiale per tradurre la propria lingua madre in inglese.

Una percentuale elevata di rilevamento dell'IA si verifica spesso quando il "DNA linguistico" di un testo è in gran parte generato dall'IA. Di solito significa che l'autore del testo ha digitato una richiesta in un modello di linguaggio di grandi dimensioni (LLM) e ha copiato e incollato il risultato diretto dell'LLM, apportando alcune modifiche.

I sistemi di verifica del punteggio basati sull'intelligenza artificiale sono affidabili?

Non siamo in grado di verificare i risultati di altri strumenti, ma i controlli basati sull'intelligenza artificiale di livello aziendale come Pangram sono estremamente precisi (99,98%). Per aiutarti a valutare la loro accuratezza, la maggior parte di questi strumenti fornisce un "intervallo di confidenza" che indica il grado di certezza del modello riguardo alla propria percentuale di rilevamento.

La risposta alla domanda «I sistemi di controllo basati sull'IA sono affidabili?» si fonda su due elementi: per stabilire se un testo sia stato generato dall'IA si utilizzano modelli statistici, e tali modelli operano sulla base di probabilità piuttosto che di certezze assolute.

Un indicatore di "alta affidabilità" significa che il testo corrisponde a modelli noti presenti nei dati di addestramento dei modelli di linguaggio a grande scala (LLM). E, poiché il testo corrisponde a tali modelli, la percentuale di rilevamento dell'IA è ragionevole. Ciò non significa che la percentuale di rilevamento dell'IA sia assolutamente accurata, ma che probabilmente lo è.

Un indicatore di "bassa affidabilità" significa che il testo presenta alcune caratteristiche tipiche dell'IA, ma che il modello non dispone di dati sufficienti per formulare un giudizio definitivo. Molti indicatori di "bassa affidabilità" sono causati da frammenti di testo troppo brevi per consentire una valutazione accurata.

Se utilizzi uno strumento di verifica dell'IA che fornisce una valutazione in bianco e nero dei contenuti scritti, uno strumento come Pangram può aiutarti a individuare le sezioni specifiche che indicano la presenza di testi generati dall'IA.

Il risultato "misto"

La realtà più comune nei flussi di lavoro moderni è quella dei contenuti “misti”, che combinano la scrittura e la revisione umana con quella basata sull’intelligenza artificiale. Ecco perché strumenti come Pangram 3.0 classificano il testo su una scala che va da: interamente umano, leggermente assistito dall’IA, moderatamente assistito dall’IA, fino a interamente generato dall’IA.

Risultati misti del punteggio IA

È importante classificare i testi generati dall'IA su una scala graduale, perché uno studente che ottiene un punteggio del 10% per un testo "leggermente assistito dall'IA" – solo perché ha utilizzato un correttore ortografico – non dovrebbe essere trattato allo stesso modo di uno studente che ha consegnato un saggio "interamente generato dall'IA" con un punteggio del 95%. L'evidenziazione mostra esattamente quali parti sono state create dall'IA.

Quali sono i valori soglia del punteggio AI che richiedono un intervento?

Non esiste una "soglia magica" universale che richieda un intervento correttivo, ma, secondo le migliori pratiche, i punteggi di rilevamento dell'IA inferiori al 20% indicano spesso un normale utilizzo di strumenti di assistenza alla scrittura digitale. I punteggi superiori al 60% giustificano spesso un colloquio diretto sull'autenticità del testo scritto.

È opportuno impostare una soglia per il rilevatore di IA che rispecchi le vostre politiche in materia. Ad esempio, se la vostra politica consente l’uso dell’IA «per il brainstorming di idee, ma non per la stesura del testo stesso», un punteggio del 40% richiede un approfondimento. Oppure, se la vostra politica stabilisce che «l’IA non deve essere utilizzata in nessuna fase del processo di scrittura», anche un punteggio del 15% richiederà probabilmente un approfondimento.

Il punteggio di rilevamento AI che ricevi è uno strumento diagnostico. Se viene registrato un punteggio elevato, puoi utilizzare i segmenti evidenziati da Pangram e il report"Frasi AI"per discutere con l'autore e chiedergli di spiegarti il suo processo di stesura. Questo può portare a chiarimenti, indicazioni e al risultato che entrambi state cercando.

Il rilevamento tramite IA non è un semplice "superato/bocciato"

Pangram è uno strumento analitico sofisticato che offre una visione approfondita dei processi che caratterizzano la scrittura odierna. Comprendendo appieno il significato di un punteggio generato dall'intelligenza artificiale, i professionisti possono garantire con sicurezza il rispetto degli standard di integrità, trattando al contempo gli autori con equità.

Smettila di cercare di indovinare il significato dei numeri. Ottieni informazioni dettagliate e chiare sulla paternità dei testi grazie all'analisi dei segmenti di Pangram.

Scansiona il tuo documento