Un invito a nuove valutazioni dei pangrammi

Riteniamo fondamentale che i rilevatori di IA come Pangram siano sottoposti a verifiche da parte di ricercatori indipendenti. Attualmente, la valutazione indipendente condotta su un campione più ampio è stata quella dell’Università di Chicago, effettuata oltre un anno fa utilizzando Pangram 3. Nuovi modelli di linguaggio di grandi dimensioni (LLM) vengono rilasciati continuamente e una valutazione binaria, che contrappone documenti generati interamente dall’IA a quelli scritti interamente da esseri umani, non riesce a cogliere l’intero spettro delle prestazioni nel mondo reale.

Abbiamo bisogno di ulteriori benchmark di Pangram di alta qualità e completamente indipendenti. Un ottimo benchmark ci aiuterà a comprendere e migliorare Pangram, oltre a contribuire a definire il modo in cui il mondo interagirà con l’IA nei prossimi anni.

Stiamo lanciando un invito a presentare nuove valutazioni condotte da soggetti terzi. Alcuni esempi di valutazioni che vorremmo ricevere sono quelle che cercano di rispondere a una delle seguenti domande:

• In che misura i rilevatori attuali riescono a individuare il testo generato dai modelli di IA di ultima generazione?
• Come si comportano i rilevatori di IA in contesti altamente specifici, come la ricerca approfondita, nell’ambito di un sistema di controllo degli agenti o nel corso di più iterazioni di editing basato sull’IA?
• Qual è l'efficacia dei sistemi di rilevamento sui testi scritti da più autori? La ricerca in questo campo potrebbe esplorare l'intero spettro dell'assistenza fornita dall'intelligenza artificiale, dalle lievi correzioni grammaticali alla piena co-autorialità.
• Come si comportano i rilevatori di testo basati sull’intelligenza artificiale quando analizzano i risultati dei programmi di sintesi vocale basati sull’intelligenza artificiale? In che misura questi programmi modificano il testo?
• Come si comportano i rilevatori di IA con testi generati dall’IA e testi scritti da esseri umani in lingue diverse?
• Come si comportano i rilevatori di IA con testi scritti da autori provenienti da contesti diversi, appartenenti a gruppi etnici o culturali diversi e che scrivono in generi o stili diversi? Anche i risultati nulli, che non evidenziano alcun pregiudizio, sono comunque di nostro interesse.
• Qual è il livello di efficacia dei rilevatori di IA su nuovi tipi di testo, come i documenti storici appena digitalizzati?
• Come si comportano i rilevatori di IA quando si tratta di testi tecnici, equazioni matematiche o codice, sia quello scritto dall’IA che quello scritto da esseri umani?

Ciò che apprezziamo in un benchmark sono dati straordinariamente puliti, dati all’avanguardia nel campo dei modelli di linguaggio di grandi dimensioni (LLM) e un livello di difficoltà sufficientemente elevato da impedire che il benchmark venga saturato dalla maggior parte dei rilevatori.

Siamo lieti di erogare sovvenzioni per questo tipo di valutazioni. Una volta approvato l’argomento della sovvenzione, non imponiamo alcuna condizione relativa alla pubblicazione: i ricercatori sono liberi di pubblicare qualsiasi risultato ottengano, indipendentemente dal fatto che sia favorevole o meno a Pangram.

Se sei un ricercatore e desideri effettuare un benchmarking sulla nostra azienda, invia la tua candidatura qui.