Qual è il rendimento di Pangram sugli humanizer? (Aggiornato ad agosto 2025)

Qual è il rendimento di Pangram sugli humanizer? (Aggiornato ad agosto 2025)

Il rilevamento dell'IA viene spesso descritto come una "corsa agli armamenti" tra grandi modelli linguistici, strumenti di rilevamento e "humanizer", ovvero una categoria di strumenti online pensati per offuscare i testi generati dall'IA e introdurre errori intenzionali affinché il testo risultante sembri scritto da un essere umano.

Noi di Pangram cerchiamo sempre di stare al passo con i tempi e di adeguare sia i nuovi modelli che gli humanizer agli ultimi progressi tecnologici. Questo ci permette di sviluppare sistemi di rilevamento basati sull'intelligenza artificiale che mantengono la loro affidabilità.

Nel gennaio 2025 abbiamo pubblicato un aggiornamento della nostra relazione tecnica in cui abbiamo valutato 19 diversi strumenti di humanizzazione e parafrasi. I risultati principali sono stati:

• Il pangramma è resistente agli strumenti di umanizzazione e parafrasi
• Alcuni revisori inseriscono manualmente errori di spaziatura e punteggiatura ed effettuano sostituzioni uno a uno dei sinonimi.
• Altri "umanizzatori" sono essi stessi modelli di linguaggio di grandi dimensioni (LLM) ottimizzati, addestrati a parafrasare il testo in uno stile umano.
• Più il testo generato dall'humanizer è leggibile e scorrevole, maggiore è la probabilità che venga individuato da Pangram.
• In altre parole, gli "humanizer" "buoni" in termini di fluidità sono più facilmente individuabili, mentre quelli "cattivi" lo sono meno.

Tuttavia, il panorama degli humanizer è in rapida evoluzione e per questo abbiamo voluto pubblicare i dati aggiornati relativi al nostro ultimo benchmark sugli humanizer.

Risultati aggiornati dell'humanizer di Pangram

Pangram ottiene un punteggio superiore al 90% su tutti i principali strumenti di humanizzazione che abbiamo testato.

Come si posiziona Pangram rispetto ad altri rilevatori di IA quando si tratta di testi generati dall'IA ma con un tono umano?

Nello studio di Russell et al., Pangram viene confrontato con GPTZero e diversi metodi open source su testi umanizzati. Il modello migliore di Pangram raggiunge una precisione del 97% sui testi umanizzati, contro il 46% di GPTZero, il 23% di FastDetectGPT e il 7% di Binoculars.

Le prestazioni di Pangram sui testi umanizzati rispetto ad altri rilevatori

Uno studio molto recente condotto da Jabarian e Imas ha rilevato che Pangram è l'unico rilevatore, tra i quattro rilevatori commerciali, le cui prestazioni risultano robuste rispetto agli humanizer:

Per i brani più lunghi, Pangram rileva quasi il 100% dei testi generati dall'IA. L'FNR aumenta leggermente man mano che i brani si accorciano, ma rimane comunque basso. Gli altri rilevatori sono meno efficaci contro gli strumenti di "umanizzazione". L'FNR di Originality.AI aumenta fino a circa 0,05 per i testi più lunghi, ma può raggiungere fino a 0,21 per i testi più brevi, a seconda del genere e del modello LLM. GPTZero perde in gran parte la sua capacità di rilevare il testo generato dall'IA, con punteggi FNR intorno a 0,50 e oltre nella maggior parte dei generi e dei modelli LLM. RoBERTa ha prestazioni altrettanto scarse, con punteggi FNR elevati in tutti i casi.

Come si fa a capire se un testo è stato "umanizzato"?

Ci sono diversi modi per capire a prima vista se un testo è stato elaborato da un humanizer.

Frasi contorte

Uno dei modi più semplici per individuare un "humanizer" è cercare le "frasi contorte", ovvero sostituzioni di sinonimi fuori contesto volte a mascherare il plagio. Gli strumenti di riscrittura, come Grammarly e Quillbot, utilizzavano questi algoritmi di sostituzione dei sinonimi già prima dell'avvento dell'intelligenza artificiale per nascondere il plagio.

Esempi di espressioni contorte potrebbero essere "coscienza contraffatta" al posto di "intelligenza artificiale" o "pericolo al seno" al posto di "tumore al seno". L'anno scorso abbiamo sentito un caso divertente in cui in un tema scritto da uno studente era comparso "Martin Luther Ruler, Jr." al posto di "Martin Luther King, Jr.".

È importante prestare attenzione all'uso di frasi contorte come unico criterio per individuare testi generati dall'IA con un tocco umano, poiché tali frasi compaiono spesso anche nei testi scritti in inglese da persone non madrelingua, quando queste ultime utilizzano in modo improprio o interpretano erroneamente il significato letterale o l'uso tipico di determinate parole.

Errori di spaziatura anomali

Chi cerca di aggirare i rilevatori di IA spesso tenta di ingannare il tokenizer aggiungendo o rimuovendo spazi. Particolarmente comune è la rimozione degli spazi tra le frasi.

Frasi ricorrenti

I testi generati dall'IA umanizzata presentano ancora le stesse frasi ripetitive dei testi generati dall'IA non umanizzata. È particolarmente significativo che un testo provenga da un sistema di umanizzazione se la stessa frase forzata compare due volte nello stesso documento, poiché ciò dimostra che il sistema sta applicando sistematicamente le stesse sostituzioni di sinonimi.

Caratteri non standard

Inoltre, gli "humanizer" utilizzano solitamente caratteri Unicode non standard per ingannare anche i tokenizer dei rilevatori di IA. Un esempio è un popolare "humanizer" che utilizza "U+2009", ovvero il carattere Unicode che rappresenta lo "spazio sottile", al posto dello spazio normale. Consigliamo questo sito web https://www.soscisurvey.de/tools/view-chars.php che permette di vedere tutti i caratteri non stampabili che potrebbero essere nascosti nelle stringhe copiate e incollate.

Esempio di caratteri non stampabili in un testo umanizzato

Strumenti per il processo di scrittura

Grazie alla nuova funzione "Riproduzione della scrittura" di Pangram in Google Docs, puoi anche verificare se una parte significativa del testo in un documento Google Docs è stata copiata e incollata anziché digitata manualmente. Qui puoi trovare una spiegazione più dettagliata sul rilevamento tramite IA in Google Docs.

Esempio di riproduzione di testo che mostra l'operazione di copia e incolla

Perché Pangram non è accurato al 100% sui testi generati dall'IA in stile umano?

Ci sono diversi motivi per cui Pangram non è un rilevatore perfetto per i testi generati dall'intelligenza artificiale in stile umano.

1. Pangram non è disposta a scendere a compromessi sul proprio tasso di falsi positivi. Diversi nostri modelli interni sono in grado di individuare gli "humanizer" con un'accuratezza quasi perfetta, ma presentano tassi di falsi positivi più elevati. Non distribuiamo questi modelli perché per noi è più importante che i testi scritti da esseri umani non vengano mai segnalati come generati dall'IA piuttosto che individuare tutti i risultati prodotti dagli "humanizer".

2. I testi "spazzatura" di pessima qualità sono facilmente individuabili a occhio nudo. Nella maggior parte dei casi in cui Pangram non rileva un output generato artificialmente, il testo è talmente distorto e confuso da assomigliare a malapena all'inglese. Questi casi sono facili da individuare a occhio nudo, ma difficili da rilevare algoritmicamente, poiché esistono infiniti modi per produrre testi senza senso. Preferiamo escludere il testo senza senso piuttosto che cercare di rilevarlo, poiché non è nemmeno sensato cercare di distinguere il senza senso umano da quello generato dall'humanizer.

Posso aspettarmi che Pangram migliori le prestazioni di Humanizer nel corso del tempo?

Sì, il rilevamento degli "humanizer" è un'area di ricerca molto attiva per Pangram e speriamo di continuare a caratterizzare le proprietà di questi strumenti e a diffondere i risultati delle nostre ricerche sul rilevamento dei testi da essi generati. Affinché Pangram possa essere considerato uno strumento affidabile per la tutela dell'integrità accademica, dobbiamo essere in grado di individuare sia i testi prodotti da questi strumenti di frode, sia quelli copiati e incollati direttamente dai modelli linguistici di grandi dimensioni.

Prova il rilevatore di IA di Pangram per confrontare i tuoi documenti con i risultati generati da Humanizer.