Qual è il migliore: Pangram o Turnitin?

Confronto tra i due principali rilevatori di IA

Mi viene spesso chiesto: «In che modo Pangram si differenzia dal rilevatore di plagio basato sull'intelligenza artificiale di Turnitin?». Dopotutto, molte scuole utilizzano il tradizionale rilevatore di plagio di Turnitin. Il rilevatore di plagio basato sull'intelligenza artificiale di Turnitin è semplice da usare, ma molti docenti preferiscono invece Pangram. Perché? A mio avviso, i due fattori principali sono l'accuratezza e la disponibilità.

Precisione dei pangrammi vs. precisione di Turnitin

Quanto sono precisi Pangram e Turnitin? Entrambe le aziende hanno pubblicato i propri rapporti tecnici in cui descrivono in dettaglio il livello di precisione, e l'accuratezza di entrambi è stata valutata in diversi studi accademici.

Nel rapporto tecnico di Turnitin del settembre 2024, viene riportato un tasso di rilevamento del 76,8% sui testi generati da GPT-4. Ciò significa che Turnitin rileva circa il 77% dei testi generati dall'IA tramite GPT-4 che vengono sottoposti al suo controllo.

Al contrario, il rapporto tecnico di Pangram dimostra un tasso di recupero complessivo del 99,9% sui testi generati dall'intelligenza artificiale, nonché sui testi generati specificatamente da GPT-4. Questi dati sono confermati da ricerche accademiche condotte da terzi, in cui tre studi indipendenti hanno tutti riscontrato che Pangram presenta un'accuratezza superiore al 99%.

Tasso di falsi positivi

Il tasso di falsi positivi è una componente importante dell'accuratezza e, probabilmente, la più importante in un contesto scolastico. Se non ci si può fidare dei risultati forniti dal proprio rilevatore, quale utilità ha in realtà?

Il rapporto tecnico di Turnitin rileva un tasso di falsi positivi dello 0,51%, ovvero circa 1 su 200.

Il tasso di falsi positivi riportato da Turnitin sul proprio sito web

Pangram, invece, presenta un tasso complessivo di falsi positivi ben documentato pari allo 0,01%, ovvero 1 su 10.000. Su un corpus di saggi accademici simile a quello utilizzato per la valutazione di Turnitin, Pangram registra un tasso di falsi positivi pari a 1 su 25.000.

Distorsione ESL

Sia Pangram che Turnitin sostengono di non avere pregiudizi nei confronti di chi non è madrelingua inglese.

Pangram ha registrato un tasso di falsi positivi dello 0,032% su quattro set di dati ESL utilizzati per la validazione.

Turnitin ha analizzato le proprie prestazioni nella valutazione di testi scritti in inglese come seconda lingua (ESL) e ha rilevato un tasso di falsi positivi dell'1,4% in questo ambito, rispetto all'1,3% registrato per i testi non ESL.

Pangram è riuscito ad analizzare lo stesso set di dati per un confronto diretto, dimostrando un FPR significativamente più basso, pari allo 0,02% per la scrittura ESL e allo 0,0% per quella non ESL.

Disponibilità

Pangram è a disposizione di tutti gli insegnanti, indipendentemente dal fatto che la loro scuola disponga o meno di una licenza istituzionale. Gli insegnanti possono effettuare cinque verifiche al giorno gratuitamente, ma possono sottoscrivere un abbonamento per utilizzare Pangram in modo intensivo. Se una scuola acquista una licenza istituzionale, tutti gli insegnanti e il personale docente avranno accesso illimitato a Pangram.

Turnitin è disponibile solo tramite licenza istituzionale. Non è possibile provare gratuitamente il prodotto di rilevamento basato sull'intelligenza artificiale di Turnitin senza sottoscrivere la loro licenza istituzionale.

Come si usa Pangram?

Esistono tre modi principali per utilizzare Pangram:

1. Dashboard: puoi utilizzare la dashboard gratuita di Pangram per incollare del testo o caricare documenti e verificare la presenza di contenuti generati dall'intelligenza artificiale. Dalla dashboard è possibile visualizzare un rapporto dettagliato sulla scrittura generata dall'intelligenza artificiale, che include un grafico che indica dove è stata rilevata l'intelligenza artificiale ed evidenzia le frasi tipiche generate dall'intelligenza artificiale.
2. Estensione per Chrome: puoi utilizzare l'estensione Pangram per Chrome per verificare la presenza di contenuti generati dall'IA in qualsiasi testo, selezionandolo e scegliendo "Verifica contenuti generati dall'IA" dal menu contestuale. Funziona ovunque su Internet, compresi Canvas Speedgrader e i forum di discussione. L'estensione aggiunge inoltre un pulsante in Google Docs per verificare immediatamente la presenza di contenuti generati dall'IA nel documento.
3. Integrazione con i sistemi LMS: Pangram offre diverse integrazioni, tra cui quelle con Canvas e Google Classroom. Queste sono disponibili solo tramite licenza istituzionale. Clicca qui per consultare l'elenco aggiornato delle nostre integrazioni.

Quali lingue sono supportate?

Pangram supporta 24 lingue, tra cui inglese, arabo, cinese, olandese, ceco, francese, tedesco, greco, hindi, ungherese, italiano, giapponese, coreano, persiano, polacco, portoghese, rumeno, russo, spagnolo, svedese, turco, ucraino, urdu e vietnamita.

Turnitin supporta tre lingue: inglese, giapponese e spagnolo.

Pangram contro Turnitin: sintesi

Nel complesso, sia Pangram che Turnitin hanno fornito prove concrete a sostegno delle loro affermazioni in materia di accuratezza, ma Pangram risulta due ordini di grandezza più accurato di Turnitin rispetto ad altri rilevatori basati sull'intelligenza artificiale. Pangram supporta 24 lingue, contro le sole tre supportate da Turnitin. Pangram offre una dashboard gratuita, un'estensione per Chrome e licenze individuali o istituzionali, mentre Turnitin offre solo licenze istituzionali.

Stai valutando l'ampia gamma di strumenti di rilevamento disponibili per l'istruzione superiore? Scopri quali strumenti di rilevamento dell'IA dovrebbero utilizzare le università.