No, Pangram non si basa sulla perplessità e sulla variabilità per le previsioni del nostro modello. Pangram è un tipo di rete neurale denominata “modello classificatore”. Pangram viene addestrato utilizzando “specchi sintetici” dei documenti più difficili da classificare e poi viene riaddestrato ripetutamente. Ciò lo rende adattabile a nuovi modelli e significa che, man mano che Pangram acquisisce maggiore esperienza con i testi scritti dall’uomo attraverso il nostro algoritmo di apprendimento attivo, migliora gradualmente.
Cosa sono la perplessità e la burstiness?
Tratto dal nostro post sul blog dedicato alla perplessità e alla burstiness: vi invitiamo a consultarlo per approfondimenti sulle limitazioni di questi metodi.
https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai
La "perplessità" indica quanto ogni parola di un testo risulti inaspettata o sorprendente se considerata dal punto di vista di un particolare modello linguistico o LLM.
Ad esempio, ecco due frasi. Concentriamoci sull'ultima parola di ciascuna frase, a scopo dimostrativo. Nel primo esempio, l'ultima parola presenta una bassa perplessità, mentre nel secondo esempio l'ultima parola presenta un'alta perplessità.
Bassa perplessità:
Oggi a pranzo ho mangiato una scodella di *zuppa*.
Elevata perplessità:
Oggi a pranzo ho mangiato una ciotola di *ragni*.
Il motivo per cui la seconda frase presenta un alto livello di perplessità è che è molto raro che un modello linguistico incontri esempi di persone che mangiano ciotole di ragni nel proprio set di dati di addestramento; pertanto, per il modello linguistico è molto sorprendente che la frase si concluda con "ragni", anziché con qualcosa come "zuppa", "un panino" o "un'insalata".
La “burstiness” è la variazione della perplessità nel corso di un documento. Se nel documento sono disseminate parole e frasi sorprendenti, si direbbe che esso presenta un elevato livello di “burstiness”.
Perché Pangram non utilizza i parametri di perplessità e burstiness?
L'uso della perplessità e della burstiness per individuare i testi generati dall'IA presenta numerosi svantaggi. Per una spiegazione approfondita di quanto segue, si rimanda al nostro post sul blog dedicato all'argomento: https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai. Poiché i modelli linguistici sono esplicitamente addestrati a minimizzare la perplessità sui propri dati di addestramento, testi umani riprodotti frequentemente come la Dichiarazione d’Indipendenza e gli articoli di Wikipedia vengono erroneamente classificati come generati dall’IA, un problema che non fa che aggravarsi man mano che i modelli assimilano sempre più contenuti dal web. Queste metriche sono inoltre relative a un modello specifico, quindi un rilevatore calibrato su un generatore produce risultati imprecisi su un altro, e molti modelli commerciali non rendono affatto disponibili le probabilità dei token necessarie per calcolare la perplessità. Essi penalizzano sistematicamente chi non è madrelingua inglese, il cui vocabolario più limitato e le cui strutture sintattiche più semplici producono naturalmente una perplessità e una variabilità inferiori. E, cosa più fondamentale, si tratta di euristiche statiche che non possono migliorare con l’aggiunta di nuovi dati né elaborare i dati come farebbe un approccio basato sul deep learning: non sono in grado di garantire l’affidabilità richiesta dalle applicazioni ad alto rischio.
