Come Pangram individua i contenuti generati dall'intelligenza artificiale

Pangram Text è progettato per rilevare i contenuti generati dall'intelligenza artificiale con un tasso di falsi positivi quasi pari a zero. Il nostro rigoroso approccio di formazione riduce al minimo gli errori e consente al modello di rilevare i testi generati dall'intelligenza artificiale analizzando e comprendendo i sottili indizi presenti nella scrittura.

Il nostro classificatore utilizza un'architettura tradizionale basata su modelli linguistici. Riceve il testo in ingresso e lo suddivide in token. Successivamente, il modello trasforma ogni token in un embedding, ovvero un vettore di numeri che rappresenta il significato di ciascun token.

L'input viene elaborato dalla rete neurale, generando un embedding di output. Una testa di classificazione trasforma l'embedding di output in una previsione pari a 0 o 1, dove 0 corrisponde all'etichetta umana e 1 all'etichetta dell'IA.

Addestriamo un modello iniziale su un dataset piccolo ma diversificato di circa 1 milione di documenti composto da testi pubblici e autorizzati scritti da esseri umani. Il dataset include anche testi generati dall'intelligenza artificiale prodotti da GPT-4 e altri modelli linguistici all'avanguardia. Il risultato dell'addestramento è una rete neurale in grado di prevedere in modo affidabile se un testo è stato scritto da un essere umano o dall'intelligenza artificiale.

Estrazione con filtro negativo rigido

Il modello iniziale era già piuttosto efficace, ma volevamo massimizzare la precisione e ridurre al minimo il rischio di falsi positivi (ovvero l'errata identificazione di documenti redatti da esseri umani come generati dall'IA). A tal fine, abbiamo sviluppato un algoritmo specifico per i modelli di rilevamento dell'IA.

Con il set di dati iniziale, il nostro modello non disponeva di dati sufficienti per passare da una precisione del 99% a una del 99,999%. Sebbene il modello apprenda rapidamente gli schemi iniziali presenti nei dati, ha bisogno di confrontarsi con casi limite complessi per poter distinguere con precisione tra testi scritti da esseri umani e testi generati dall'intelligenza artificiale.

Risolviamo questo problema utilizzando il modello per individuare i falsi positivi all'interno di grandi set di dati e integrando il set di addestramento iniziale con questi ulteriori esempi difficili prima di procedere a un nuovo addestramento. Dopo diversi cicli di questo processo, il modello risultante mostra un tasso di falsi positivi prossimo allo zero, oltre a prestazioni complessivamente migliorate sui set di valutazione tenuti da parte.

Suggerimenti dello specchio

Progettiamo la parte AI del set di dati in modo che assomigli il più possibile alla parte umana in termini di stile, tono e contenuto semantico. Per ogni esempio umano, generiamo un esempio generato dall'AI che corrisponda al documento originale su quanti più assi possibile, per garantire che il nostro modello impari a classificare i documenti esclusivamente sulla base delle caratteristiche specifiche della scrittura LLM.

Riqualificare

Addestriamo il modello utilizzando il set di addestramento aggiornato e ne valutiamo le prestazioni ad ogni fase. Grazie a questo metodo, riusciamo a ridurre gli errori e ad aumentare l'accuratezza del nostro modello oltre i limiti raggiungibili con un normale addestramento.

Dai un'occhiata al nostro white paper tecnico completo su arXiv, dove approfondiamo i dettagli relativi all'addestramento, alle prestazioni e ad altri esperimenti.