Pangram vs. Turnitin: quale dei due offre il miglior sistema di rilevamento basato sull’intelligenza artificiale?

Se avete una minima familiarità con il mondo dell'integrità accademica, probabilmente conoscete già Turnitin. È il leader indiscusso nel mondo accademico e, quando si tratta di individuare i casi di plagio, a ragione. 

Le scuole di tutto il Paese utilizzano Turnitin per verificare la presenza di plagio nei compiti degli studenti — e verrebbe da pensare che, dato che questo strumento è già parte integrante dei flussi di lavoro, avvalersi delle sue funzionalità di rilevamento basate sull’intelligenza artificiale sarebbe il passo successivo più ovvio. 

Ma mentre il sistema di rilevamento basato sull'intelligenza artificiale di Turnitin può rivelarsi utile in caso di necessità, i contenuti generati dall'IA vanno ben oltre l'ambito scolastico. Abbiamo riscontrato che il 67% delle persone che leggono online si è imbattuto in informazioni fuorvianti generate dall'IA, eppure questo stesso gruppo continua a nutrire preoccupazioni riguardo ai tassi di falsi positivi. 

La precisione rimane importante sia in classe che fuori. 

Ecco perché, quando abbiamo messo a confronto Pangram e Turnitin, l'accuratezza è stato l'aspetto più importante che abbiamo valutato. 

Oggi vi illustrerò i risultati della nostra ricerca, analizzando le prestazioni di rilevamento, i tassi di falsi positivi, il supporto linguistico, l'accessibilità, i prezzi e le opzioni di implementazione, per capire quale piattaforma sia la più adatta alle vostre esigenze. 

Pangram contro Turnitin: una panoramica

Sebbene a prima vista possano sembrare simili, Pangram e Turnitin affrontano il rilevamento tramite IA con priorità fondamentalmente diverse. Turnitin è un ecosistema più ampio, già adottato da numerose istituzioni accademiche, che include anche funzionalità di rilevamento tramite IA. 

Pangram, invece, è stato progettato specificatamente per dare la priorità assoluta al rilevamento tramite intelligenza artificiale. 

Che cos’è un pangramma?

Pangram è una piattaforma di rilevamento dell'intelligenza artificiale creata per docenti, editori, uffici di ammissione e, in generale, qualsiasi persona o organizzazione che abbia bisogno di valutare l'origine di un testo scritto. Se avete bisogno di sapere se un testo è stato creato con l'ausilio dell'intelligenza artificiale, possiamo aiutarvi. 

Sono proprio i nostri metodi a distinguerci dagli altri rilevatori. I primi strumenti di rilevamento basati sull’intelligenza artificiale si concentravano eccessivamente su metriche superficiali come la perplessità e la burstiness. 

Per questo motivo, abbiamo sviluppato Pangram per affrontare due dei principali problemi legati al rilevamento dell'IA: i falsi positivi e i contenuti generati dall'IA ma con un tocco umano. 

I nostri modelli sono addestrati su milioni di esempi di testi scritti sia da esseri umani che generati dall'intelligenza artificiale, il che permette loro di identificare correttamente i testi generati senza contrassegnare erroneamente quelli scritti da esseri umani. 

Il risultato? Un rilevatore progettato per analizzare il documento nella sua interezza, anziché limitarsi a una manciata di segnali isolati. 

Oggi Pangram supporta il rilevamento in 24 lingue e offre una piattaforma web, un'estensione per Chrome, integrazioni con sistemi LMS e un'API Enterprise per le organizzazioni che hanno bisogno di verificare i contenuti su larga scala.

Che cos’è Turnitin

Se negli ultimi due decenni hai frequentato un ateneo, questo nome ti dirà sicuramente qualcosa! Turnitin è una piattaforma dedicata all’integrità accademica, nota soprattutto per il suo software di rilevamento del plagio. La loro ultima novità risale al 2023, quando l’azienda ha ampliato i propri servizi includendo il rilevamento della scrittura generata dall’intelligenza artificiale (una mossa che si è rivelata davvero azzeccata). 

Molte scuole utilizzavano già Turnitin per confrontare i compiti consegnati dagli studenti con vasti database di lavori pubblicati e presentati. L’aggiunta del rilevamento basato sull’intelligenza artificiale ha consentito agli istituti di valutare contemporaneamente sia il plagio che i testi generati dall’intelligenza artificiale.

Di conseguenza, Turnitin viene spesso adottato nell'ambito di un programma più ampio di integrità accademica, piuttosto che come strumento autonomo di rilevamento dei testi copiati.

Il suo pubblico principale rimane costituito dalle scuole primarie e secondarie e dalle università che necessitano di sistemi centralizzati per la gestione dell'integrità accademica su larga scala.

Precisione

Per chiunque stia valutando uno strumento di rilevamento basato sull'intelligenza artificiale, l'accuratezza è IL parametro fondamentale da tenere in considerazione. Fortunatamente, nel caso di entrambi gli strumenti qui presentati, non c'è bisogno di fare ipotesi sull'accuratezza. Sia Pangram che Turnitin hanno pubblicato rapporti tecnici, quindi possiamo confrontare direttamente i dati. 

Prima di approfondire l'argomento, vale la pena chiarire cosa si intenda in questo contesto per "accuratezza", poiché il termine viene usato in modo piuttosto generico nel campo del rilevamento dell'IA. In realtà, le metriche rilevanti sono solo due, quindi è facile da capire. 

• Tasso di riconoscimento: con quale frequenza il rilevatore identifica correttamente i contenuti generati dall'intelligenza artificiale? 

• Tasso di falsi positivi: con quale frequenza il rilevatore identifica erroneamente la scrittura umana come generata dall’IA?

La maggior parte dei rilevatori di IA attualmente disponibili sul mercato tende un po’ troppo da una parte o dall’altra. È facile eccellere in un ambito, ma farlo in entrambi è molto più difficile. Fortunatamente, sia Pangram che Turnitin ottengono risultati piuttosto buoni sotto questo aspetto. 

Grazie al rapporto tecnico di Turnitin, sappiamo che i ricercatori hanno riscontrato un tasso di rilevamento del 76,8% sui contenuti generati da GPT-4 durante i test effettuati sul loro strumento. Ciò significa che, nelle prove tecniche, Turnitin non ha individuato un documento su quattro generato dall’intelligenza artificiale.

Analogamente, il rapporto tecnico di Pangram ha rilevato che Pangram presentava un tasso di rilevamento superiore al 99,9% sulla stessa famiglia di modelli. E per le istituzioni che esaminano grandi volumi di lavori degli studenti, si tratta di un divario piuttosto consistente tra i due strumenti, con Pangram che rileva una percentuale molto più elevata di contenuti generati. 

Le affermazioni relative alla precisione, come quelle discusse in precedenza, sono utili solo se sono soggette a verifica e vengono regolarmente testate e riesaminate. Ecco perché pubblichiamo dati di benchmark e sosteniamo valutazioni indipendenti attraverso partnership accademiche e programmi di accesso per i ricercatori. Numerosi studi condotti da terzi hanno misurato direttamente le prestazioni di Pangram. 

La questione diventa ancora più interessante se si considerano i falsi positivi. Turnitin riporta un tasso di falsi positivi pari a circa lo 0,51%, ovvero circa 1 documento su 200. I test di benchmark di Pangram indicano un tasso di falsi positivi complessivo di 1 su 10.000, con i saggi accademici che registrano risultati ancora migliori, con circa 1 su 25.000.

Confrontando i dati dei benchmark disponibili, il vincitore in termini di accuratezza è evidente. Pangram rileva una percentuale maggiore di contenuti generati dall’intelligenza artificiale, generando al contempo un numero decisamente inferiore di falsi positivi.

Tasso di falsi positivi

La mancanza di testo generato dall’intelligenza artificiale è frustrante, ma accusare ingiustamente uno studente di aver copiato in un caso di integrità accademica, a mio parere, è molto peggio.

In un'aula, in una redazione o sul posto di lavoro, un falso positivo può avere conseguenze concrete. Uno studente potrebbe essere accusato di disonestà accademica, il lavoro di un giornalista potrebbe essere messo in discussione oppure un redattore potrebbe perdere fiducia in un contributo legittimo. Se gli utenti non possono fidarsi dei risultati, l'accuratezza del rilevatore perde gran parte del suo significato.

Secondo Turnitin, la piattaforma riporta un tasso di falsi positivi dello 0,51%, ovvero circa 1 su 200. Ciò significa che, ogni 200 documenti valutati, circa un documento autentico viene erroneamente segnalato.

I test di benchmark pubblicati da Pangram riportano un tasso complessivo di falsi positivi pari a 1 su 10.000. Su un set di dati di saggi accademici paragonabile a quello utilizzato da Turnitin per la propria valutazione, tale tasso scende ulteriormente a 1 su 25.000.

Questi dati sono stati verificati in modo indipendente dall’Università di Chicago, ed è per questo che possiamo garantirne l’affidabilità quando gli istituti utilizzano Pangram per prendere decisioni relative al lavoro degli studenti.

Distorsione ESL

Una delle principali preoccupazioni attuali relative al rilevamento dell'IA è se gli autori non madrelingua in inglese siano più soggetti a essere erroneamente segnalati come utilizzatori di IA. Poiché chi non è madrelingua in inglese spesso scrive in modo tale da produrre punteggi di perplessità più bassi, la scrittura umana può talvolta apparire statisticamente simile a un testo generato dall'IA.

Ogni strumento di rilevamento dell'IA sostiene che ridurre il bias legato all'inglese come seconda lingua (ESL) sia una priorità. Ma la vera domanda è se i dati confermino tale affermazione.

Durante la nostra valutazione dell'ESL, il modello ha mantenuto tassi di falsi positivi estremamente bassi sia sui set di dati ESL che su quelli non ESL:

Questi risultati sono in linea con l’approccio più ampio di Pangram al rilevamento dell’intelligenza artificiale, che valuta i modelli a livello di documento anziché basarsi su singole scelte lessicali o su modelli di scrittura rigidi.

Se desideri approfondire la ricerca alla base di questi risultati, consulta la nostra analisi sull'accuratezza del rilevamento tramite IA nei testi scritti da studenti ESL e le nostre funzionalità multilingue di rilevamento tramite IA.

Disponibilità

Per quanto possa sembrare ovvio, un rilevatore di IA non serve a nulla se non si è in grado di utilizzarlo! Questa è una delle differenze più significative tra Pangram e Turnitin, e vale la pena sottolinearla in questa sede poiché molti docenti hanno effettivamente bisogno di una soluzione personalizzata.

Pangram è per tutti: docenti, editori, team legali, revisori di contenuti aziendali e chi più ne ha più ne metta. Crea un account e inizia subito a utilizzare la piattaforma, con quattro scansioni gratuite al giorno incluse. Provalo subito, se non l'hai già fatto. 

Turnitin, invece, è difficile da utilizzare a meno che non ne sia stato concesso l'accesso a livello istituzionale. I singoli docenti, in questo caso, non hanno praticamente alcuna possibilità. L'accesso a Turnitin è riservato a chi dispone di una licenza istituzionale, solitamente gestita da una scuola o da un'università.

Pangram, però, non è destinato solo ai singoli utenti. Anche le università e i distretti scolastici possono implementare Pangram su larga scala tramite licenze istituzionali, garantendo a docenti e personale un accesso illimitato, oltre all’integrazione con i sistemi di gestione dell’apprendimento (LMS).

In altre parole, Pangram è disponibile per l'uso individuale, pur continuando a supportare le implementazioni istituzionali per cui è stato progettato Turnitin. 

Prezzi

Allo stesso modo, anche Turnitin è piuttosto reticente riguardo ai propri prezzi. Se non sei un’istituzione, non ti verranno fornite informazioni sui prezzi. 

Pangram rende i nostri prezzi facilmente accessibili e comparabili. Gli utenti individuali possono iniziare gratuitamente con quattro scansioni al giorno, mentre i piani a pagamento partono da 15 dollari al mese per un massimo di 600 scansioni con IA. Sono inoltre disponibili licenze istituzionali per scuole e organizzazioni che necessitano di un accesso più ampio, in modo da poter soddisfare ogni tipo di esigenza.

Turnitin, tuttavia, non rende pubblici i propri prezzi. Le licenze istituzionali sono disponibili su richiesta di preventivo, con prezzi solitamente negoziati direttamente con gli istituti scolastici. Non esistono piani individuali né opzioni self-service per chi desideri valutare il software di rilevamento prima di decidere se acquistarlo, pertanto non possiamo fornire informazioni complete sui prezzi.

Lingue supportate 

Il supporto linguistico è una delle differenze pratiche più significative tra le due piattaforme.

Pangram supporta 24 lingue, tra cui inglese, arabo, cinese, olandese, ceco, francese, tedesco, greco, hindi, ungherese, italiano, giapponese, coreano, persiano, polacco, portoghese, rumeno, russo, spagnolo, svedese, turco, ucraino, urdu e vietnamita.

Turnitin, invece, supporta tre lingue: inglese, giapponese e spagnolo. Tuttavia, le nostre funzionalità di parafrasi basate sull'intelligenza artificiale e di elusione dei sistemi di rilevamento sono disponibili solo per i documenti inviati in inglese.

Per le istituzioni che si rivolgono a una popolazione studentesca internazionale, o per i team aziendali che revisionano contenuti in più lingue, tale lacuna è significativa. Un sistema di rilevamento che supporti solo tre lingue crea dei punti ciechi, lasciando i contenuti generati dall’IA nelle lingue non supportate al di fuori dell’ambito della revisione.

Come si usa Pangram?

Uno dei vantaggi di Pangram rispetto a Turnitin è la flessibilità. Anziché limitarsi a un unico flusso di lavoro, Pangram può essere utilizzato in diversi modi a seconda di come si revisionano i contenuti:

• Dashboard: È possibile utilizzare la dashboard gratuita di Pangram per incollare del testo o caricare documenti e verificare la presenza di contenuti generati dall'IA. Dalla dashboard è possibile visualizzare un rapporto dettagliato sulla scrittura generata dall'IA, che include un grafico che indica dove è stata rilevata l'IA e le frasi più comuni generate dall'IA evidenziate.

• Estensione per Chrome: è possibile utilizzare l'estensione Pangram per Chrome per verificare la presenza di contenuti generati dall'IA in qualsiasi testo, selezionandolo e scegliendo "Verifica presenza di contenuti generati dall'IA" dal menu contestuale. Questa funzione è disponibile ovunque su Internet, compresi Canvas Speedgrader e i forum di discussione. L'estensione aggiunge inoltre un pulsante in Google Docs che consente di verificare istantaneamente la presenza di contenuti generati dall'IA nel documento.

• Integrazione con le piattaforme LMS: Pangram offre diverse integrazioni, tra cui Canvas e Google Classroom. Queste sono disponibili solo tramite licenza istituzionale. 

Trova la piattaforma di rilevamento basata sull'intelligenza artificiale più adatta al tuo team

Nel complesso, sia Pangram che Turnitin hanno fornito prove sostanziali a sostegno delle loro affermazioni in merito all'accuratezza, ma Pangram risulta due ordini di grandezza più accurato di Turnitin rispetto ad altri strumenti di rilevamento basati sull'intelligenza artificiale.

Se vuoi vedere con i tuoi occhi la differenza, puoi provare Pangram gratuitamente. Esegui la tua prima scansione con il nostro rilevatore basato sull’intelligenza artificiale, usa l’estensione per Chrome per controllare i contenuti mentre navighi oppure esplora la nostra API Enterprise per scoprire come funziona.