Panoramica
Pangram Text è progettato per rilevare i contenuti generati dall'intelligenza artificiale con un tasso di falsi positivi quasi pari a zero. Il nostro rigoroso approccio di formazione riduce al minimo gli errori e consente al modello di rilevare i testi generati dall'intelligenza artificiale analizzando e comprendendo i sottili indizi presenti nella scrittura.
Processo di formazione iniziale
Il nostro classificatore utilizza un'architettura tradizionale basata su modelli linguistici. Riceve il testo in ingresso e lo suddivide in token. Successivamente, il modello trasforma ogni token in un embedding, ovvero un vettore di numeri che rappresenta il significato di ciascun token.
L'input viene elaborato dalla rete neurale, generando un embedding di output. Una testa di classificazione trasforma l'embedding di output in una previsione pari a 0 o 1, dove 0 corrisponde all'etichetta umana e 1 all'etichetta dell'IA.
Addestriamo un modello iniziale su un set di dati di dimensioni ridotte ma eterogeneo, composto da circa 1 milione di documenti, tra cui testi pubblici e testi autorizzati scritti da esseri umani. Il set di dati include anche testi generati dall’intelligenza artificiale tramite una serie di modelli linguistici. Il risultato dell’addestramento è una rete neurale in grado di prevedere in modo affidabile se un testo sia stato scritto da un essere umano o dall’intelligenza artificiale.
Miglioramento continuo attraverso l'iterazione
Estrazione con filtro negativo rigido
Il modello iniziale era già piuttosto efficace, ma volevamo massimizzare la precisione e ridurre al minimo il rischio di falsi positivi (ovvero l'errata identificazione di documenti redatti da esseri umani come generati dall'IA). A tal fine, abbiamo sviluppato un algoritmo specifico per i modelli di rilevamento dell'IA.
Con il set di dati iniziale, il nostro modello non disponeva di dati sufficienti per passare da una precisione del 99% a una del 99,999%. Sebbene il modello apprenda rapidamente gli schemi iniziali presenti nei dati, ha bisogno di confrontarsi con casi limite complessi per poter distinguere con precisione tra testi scritti da esseri umani e testi generati dall'intelligenza artificiale.
Risolviamo questo problema utilizzando il modello per individuare i falsi positivi all'interno di grandi set di dati e integrando il set di addestramento iniziale con questi ulteriori esempi difficili prima di procedere a un nuovo addestramento. Dopo diversi cicli di questo processo, il modello risultante mostra un tasso di falsi positivi prossimo allo zero, oltre a prestazioni complessivamente migliorate sui set di valutazione tenuti da parte.
Suggerimenti dello specchio
Progettiamo la parte AI del set di dati in modo che assomigli il più possibile alla parte umana in termini di stile, tono e contenuto semantico. Per ogni esempio umano, generiamo un esempio generato dall'AI che corrisponda al documento originale su quanti più assi possibile, per garantire che il nostro modello impari a classificare i documenti esclusivamente sulla base delle caratteristiche specifiche della scrittura LLM.
Riqualificare
Addestriamo il modello utilizzando il set di addestramento aggiornato e ne valutiamo le prestazioni ad ogni fase. Grazie a questo metodo, riusciamo a ridurre gli errori e ad aumentare l'accuratezza del nostro modello oltre i limiti raggiungibili con un normale addestramento.
Per saperne di più, consulta il nostro rapporto tecnico: https://arxiv.org/pdf/2402.14873
