Qual è meglio: Pangram o Turnitin?

Confronto tra i due principali rilevatori di IA

Mi viene spesso chiesto: "In che modo Pangram è diverso dal rilevatore di scrittura AI di Turnitin?" Dopotutto, molte scuole utilizzano il tradizionale rilevatore di plagio di Turnitin. Il rilevatore di scrittura AI di Turnitin è semplice da usare, ma molti educatori preferiscono Pangram. Perché? A mio avviso, i due fattori principali sono l'accuratezza e la disponibilità.

Accuratezza Pangram vs. Accuratezza Turnitin

Quanto sono accurati Pangram e Turnitin? Ciascuna azienda ha pubblicato i propri rapporti tecnici che descrivono in dettaglio l'accuratezza dei propri prodotti, che è stata misurata in diversi studi accademici.

Nel rapporto tecnico di Turnitin del settembre 2024, viene riportato un tasso di riconoscimento del 76,8% sui testi generati da GPT-4. Ciò significa che Turnitin rileva circa il 77% dei testi generati dall'intelligenza artificiale di GPT-4 che vede.

Al contrario, il rapporto tecnico di Pangram dimostra un richiamo complessivo del 99,9% sui testi generati dall'intelligenza artificiale e in particolare sui testi GPT-4. Questi dati sono supportati da ricerche accademiche indipendenti, in cui tre studi distinti hanno tutti riscontrato un'accuratezza superiore al 99% per Pangram.

Tasso di falsi positivi

Il tasso di falsi positivi è una componente importante dell'accuratezza e probabilmente la più importante in un contesto scolastico. Se non ci si può fidare dei risultati forniti dal rilevatore, allora quanto è davvero utile?

Il rapporto tecnico di Turnitin misura un tasso di falsi positivi dello 0,51%, ovvero circa 1 su 200.

Il tasso di falsi positivi segnalato da Turnitin sul proprio sito web

Pangram, invece, ha un tasso di falsi positivi ben documentato dello 0,01%, ovvero 1 su 10.000. Su un set di dati di saggi accademici simile a quello utilizzato per la valutazione di Turnitin, Pangram mostra un tasso di falsi positivi di 1 su 25.000.

Pregiudizio ESL

Sia Pangram che Turnitin dichiarano di essere imparziali nei confronti dei parlanti non madrelingua inglese.

Pangram ha misurato un tasso di falsi positivi dello 0,032% su quattro set di dati ESL esclusi.

Turnitin ha studiato le loro prestazioni nella scrittura ESL e ha misurato un tasso di falsi positivi dell'1,4% nella scrittura ESL, rispetto all'1,3% di FPR nella scrittura non ESL.

Pangram è stato in grado di misurare lo stesso set di dati per un confronto diretto, dimostrando un FPR significativamente inferiore dello 0,02% sulla scrittura ESL e dello 0,0% sulla scrittura non ESL.

Disponibilità

Pangram è disponibile per tutti gli insegnanti, indipendentemente dal fatto che la loro scuola disponga di una licenza istituzionale. Gli insegnanti possono ottenere cinque controlli al giorno gratuitamente, ma possono abbonarsi per utilizzare Pangram in grandi volumi. Se una scuola acquista una licenza istituzionale, tutti gli insegnanti e il personale docente avranno accesso illimitato a Pangram.

Turnitin è disponibile solo tramite licenza istituzionale. Non è possibile provare gratuitamente il prodotto di rilevamento AI di Turnitin senza sottoscrivere la loro licenza istituzionale.

Come posso usare Pangram?

Esistono tre modi principali per utilizzare Pangram:

1. Dashboard: è possibile utilizzare la dashboard gratuita di Pangram per incollare testo o caricare documenti e verificarne il contenuto AI. Dalla dashboard è possibile visualizzare un rapporto dettagliato sulla scrittura AI, compreso un grafico che mostra dove è stata rilevata l'AI e le frasi AI più comuni evidenziate.
2. Estensione Chrome: è possibile utilizzare l'estensione Pangram Chrome per verificare la presenza di contenuti AI in qualsiasi testo selezionandolo e scegliendo "Verifica contenuti AI" dal menu contestuale. Questa funzione è disponibile ovunque su Internet, inclusi Canvas Speedgrader e forum di discussione. L'estensione aggiunge anche un pulsante in Google Docs per verificare istantaneamente la presenza di AI nel documento.
3. Integrazione LMS: Pangram offre una vasta gamma di integrazioni, tra cui quelle con Canvas e Google Classroom. Queste sono disponibili solo tramite licenza istituzionale. Clicca qui per un elenco aggiornato delle nostre integrazioni.

Quali lingue sono supportate?

Pangram supporta 24 lingue, tra cui inglese, arabo, cinese, olandese, ceco, francese, tedesco, greco, hindi, ungherese, italiano, giapponese, coreano, persiano, polacco, portoghese, rumeno, russo, spagnolo, svedese, turco, ucraino, urdu e vietnamita.

Turnitin supporta tre lingue: inglese, giapponese e spagnolo.

Pangram vs. Turnitin Riepilogo

Nel complesso, sia Pangram che Turnitin hanno fornito prove concrete a sostegno delle loro affermazioni in materia di accuratezza, ma Pangram risulta due ordini di grandezza più accurato di Turnitin rispetto ad altri strumenti di rilevamento basati sull'intelligenza artificiale. Pangram supporta 24 lingue, contro le sole tre supportate da Turnitin. Pangram offre una dashboard gratuita, un'estensione per Chrome e licenze individuali o istituzionali, mentre Turnitin offre solo licenze istituzionali.