Come Pangram individua i contenuti generati dall'intelligenza artificiale
Panoramica
Processo di formazione iniziale
Il nostro classificatore utilizza un'architettura tradizionale basata su modelli linguistici. Riceve il testo in ingresso e lo suddivide in token. Successivamente, il modello trasforma ogni token in un embedding, ovvero un vettore di numeri che rappresenta il significato di ciascun token.
L'input viene elaborato dalla rete neurale, generando un embedding di output. Una testa di classificazione trasforma l'embedding di output in una previsione pari a 0 o 1, dove 0 corrisponde all'etichetta umana e 1 all'etichetta dell'IA.
Miglioramento continuo attraverso l'iterazione
Il modello iniziale era già piuttosto efficace, ma volevamo massimizzare la precisione e ridurre al minimo il rischio di falsi positivi (ovvero l'errata identificazione di documenti redatti da esseri umani come generati dall'IA). A tal fine, abbiamo sviluppato un algoritmo specifico per i modelli di rilevamento dell'IA.
Con il set di dati iniziale, il nostro modello non disponeva di dati sufficienti per passare da una precisione del 99% a una del 99,999%. Sebbene il modello apprenda rapidamente gli schemi iniziali presenti nei dati, ha bisogno di confrontarsi con casi limite complessi per poter distinguere con precisione tra testi scritti da esseri umani e testi generati dall'intelligenza artificiale.
Risolviamo questo problema utilizzando il modello per individuare i falsi positivi all'interno di grandi set di dati e integrando il set di addestramento iniziale con questi ulteriori esempi difficili prima di procedere a un nuovo addestramento. Dopo diversi cicli di questo processo, il modello risultante mostra un tasso di falsi positivi prossimo allo zero, oltre a prestazioni complessivamente migliorate sui set di valutazione tenuti da parte.
Per saperne di più
per ricevere i nostri aggiornamenti
