Cosa significa il tuo punteggio di rilevamento dell'IA?

Sottoponi il saggio di uno studente o l'articolo di un libero professionista a un rilevatore di IA. Sullo schermo compare una cifra grande e in grassetto: 65% IA. Cosa fai adesso?

I punteggi di rilevamento dell'IA non sono come una tradizionale griglia di valutazione, in cui i concetti di "superato" e "bocciato" sono chiari. La differenza tra "generato interamente dall'IA" e "modificato dall'IA" è in continua evoluzione, così come i nostri sistemi di rilevamento qui a Pangram.

Questa guida spiega in parole semplici il funzionamento delle percentuali. Spieghiamo come un sistema di verifica basato sull'intelligenza artificiale calcoli le percentuali, cosa significano gli intervalli di confidenza e come stabilire la soglia giusta del rilevatore di IA per intervenire.

Cosa indica effettivamente quella percentuale?

Se si esegue la scansione di un documento con uno strumento di rilevamento dell'IA, si otterrà un punteggio percentuale relativo all'IA. Ad esempio, «50%». Pertanto, secondo lo strumento di verifica della percentuale di IA, il 50% di questo documento contiene testo generato dall'IA o con l'ausilio dell'IA.

Esempio di punteggio di rilevamento tramite IA

Gli strumenti avanzati di rilevamento basati sull'intelligenza artificiale non considerano un documento come un unico, enorme blocco di testo. Al contrario, questi strumenti suddividono il testo in segmenti, frasi e paragrafi. A questi singoli blocchi viene assegnato un punteggio come segmenti.

Se ottieni un punteggio del 30% su un elaborato di 10 pagine, ciò significa probabilmente che circa tre pagine di testo presentano gli schemi tipici di un modello di linguaggio di grandi dimensioni (LLM).

Come interpretare lo spettro dei punteggi AI

Se si utilizza un rilevatore di IA e un determinato documento ottiene un punteggio basso (ad esempio, il 30% generato dall'IA), ciò indica solitamente che si tratta di un documento ibrido. Un documento ibrido è solitamente scritto da una persona e poi modificato con l'ausilio di uno strumento di IA, oppure viene integrato con testo generato dall'IA.

Miscuglio di contenuti generati dall'intelligenza artificiale e scritti da esseri umani

Un punteggio di rilevamento basato sull'intelligenza artificiale viene spesso assegnato quando un autore:

• Utilizza strumenti come Grammarly.
• Chiede a un modello LLM, come ChatGPT, di “rendere più scorrevoli” i paragrafi che ha scritto.
• Utilizza l'intelligenza artificiale per tradurre la propria lingua madre in inglese.

Una percentuale elevata di rilevamento dell'IA si verifica spesso quando il "DNA linguistico" di un testo è in gran parte generato dall'IA. Di solito significa che l'autore del testo ha digitato una richiesta in un modello di linguaggio di grandi dimensioni (LLM) e ha copiato e incollato l'output diretto di tale modello, apportando alcune modifiche.

I sistemi di verifica dei punteggi basati sull'intelligenza artificiale sono precisi?

Non siamo in grado di verificare i risultati di altri strumenti, ma i sistemi di controllo basati sull'intelligenza artificiale di livello aziendale come Pangram sono estremamente precisi (99,98%). Per aiutarti a valutare la loro accuratezza, la maggior parte di questi sistemi fornisce un indicatore di "fiducia" che mostra il grado di certezza del modello riguardo alla propria percentuale di rilevamento.

La risposta alla domanda «I sistemi di verifica basati sull'intelligenza artificiale sono affidabili?» si fonda su due elementi: per stabilire se un testo sia stato generato dall'intelligenza artificiale si utilizzano modelli statistici, e tali modelli operano sulla base di probabilità piuttosto che di certezze assolute.

Se utilizzi uno strumento di verifica dell'IA che fornisce una valutazione in bianco e nero dei contenuti scritti, uno strumento come Pangram può aiutarti a individuare le sezioni specifiche che indicano la presenza di testi generati dall'IA.

Il risultato "contrastante"

Una realtà dei flussi di lavoro moderni è rappresentata dai contenuti "misti", che combinano la scrittura e la revisione umana con quella basata sull'intelligenza artificiale. Ecco perché strumenti come Pangram 3.0 (e versioni successive) classificano il testo su una scala che va da: interamente umano, leggermente assistito dall'IA, moderatamente assistito dall'IA e interamente generato dall'IA.

Risultati misti del punteggio IA

È importante classificare i testi generati dall'IA su una scala graduale, poiché un testo con un punteggio del 10% nella categoria "Leggermente assistito dall'IA" potrebbe essere trattato in modo diverso, a livello scolastico o nelle linee guida editoriali, rispetto a un saggio con un punteggio del 95% nella categoria "Completamente generato dall'IA". L'evidenziazione dei segmenti mostra esattamente quali parti sono state create con l'IA.

Quali sono i valori soglia dell'AI Score che richiedono un intervento?

Non esiste un "valore magico" universale che richieda un intervento correttivo, ma, secondo le migliori pratiche, i punteggi di rilevamento dell'IA inferiori al 20% indicano spesso un normale utilizzo di strumenti di assistenza alla scrittura digitale. I punteggi superiori al 60% giustificano spesso un colloquio diretto sull'autenticità del testo scritto.

È opportuno impostare una soglia per il rilevatore di IA che rispecchi le vostre politiche in materia. Ad esempio, se la vostra politica consente l’uso dell’IA «per il brainstorming di idee, ma non per la stesura del testo stesso», un punteggio del 40% potrebbe richiedere un approfondimento. Oppure, se la vostra politica stabilisce che «l’IA non deve essere utilizzata in nessuna fase del processo di scrittura», anche un punteggio del 15% richiederà probabilmente un approfondimento.

Il punteggio di rilevamento AI che ricevi è uno strumento diagnostico. Se viene registrato un punteggio elevato, puoi utilizzare i segmenti evidenziati da Pangram e il report"Frasi AI"per discutere con l'autore e chiedergli di spiegarti il suo processo di scrittura. Questo può portare a chiarimenti, indicazioni e al risultato che entrambi state cercando.

Il rilevamento tramite IA non è un semplice "superato/bocciato"

Pangram è uno strumento analitico sofisticato che offre una visione approfondita dei processi che caratterizzano la scrittura odierna. Comprendendo appieno il significato di un punteggio generato dall'intelligenza artificiale, i professionisti possono garantire con sicurezza il rispetto degli standard di integrità, trattando al contempo gli autori con equità.

Smettila di cercare di indovinare il significato dei numeri. Ottieni informazioni dettagliate e chiare sulla paternità dei testi grazie all'analisi dei segmenti di Pangram.

Scansiona il tuo documento