Riflettori puntati su un dipendente: vi presentiamo Katherine, ricercatrice nel campo dell'intelligenza artificiale

Ritratto di una dipendente: Katherine Thai

Benvenuti alla nostra seconda puntata della rubrica "In primo piano": abbiamo incontrato Katherine Thai, la nostra ricercatrice fondatrice nel campo dell'intelligenza artificiale, per parlare del suo percorso unico nel mondo dell'elaborazione del linguaggio naturale (NLP), delle sue ricerche sull'analisi letteraria e di ciò che sta sviluppando presso Pangram Labs. (Nota: questa intervista è stata trascritta e leggermente modificata dall'intelligenza artificiale per facilitarne la lettura.)

---

Dalla matematica e dall'inglese alla ricerca nel campo della PNL

Come ti sei interessato alla PNL e hai deciso di intraprendere un dottorato di ricerca?

All'inizio non mi sono mai interessato direttamente alla PNL. All'università ho studiato matematica, informatica e inglese e ho partecipato a molti programmi di ricerca per studenti universitari perché mi piaceva l'idea di fare ricerca e sperimentare, ma non sapevo esattamente cosa volessi studiare.

Quando si avvicinava l'ultimo anno di università, un compagno di classe mi suggerì che la mia laurea in inglese si prestava allo studio dell'NLP, dato che si tratta dell'applicazione dell'informatica al testo. Non ne avevo mai sentito parlare: la mia università non aveva né ricercatori né corsi di NLP.

Alla fine ho trovato il mio attuale relatore, Mohit Iyyer, che si occupava della comprensione narrativa di racconti lunghi e libri. La cosa mi ha davvero incuriosito perché amo i libri e avevo scritto una tesi di laurea dal titolo "Meccanismi narrativi della frustrazione". Quando ho presentato la domanda, il mio relatore pensava che si trattasse di meccanismi tecnici di informatica, ma non era così: era semplicemente il modo in cui descrivevo ciò che accadeva nella letteratura! Ha trovato il mio background interessante e ha pensato che le mie conoscenze matematiche mi avrebbero aiutato ad apprendere le nozioni fondamentali. Ho letteralmente seguito il mio primo corso di NLP durante il mio primo semestre di dottorato.

Studiare letteratura con l'intelligenza artificiale

Raccontaci della tua ricerca di dottorato.

La mia tesi si intitola "Modalità di collaborazione tra esseri umani e IA nel campo testuale: benchmark, metriche e compiti interpretativi". Mi interessa capire in che modo i modelli linguistici possano interpretare i testi e trarne conclusioni più approfondite rispetto a quelle di uno studioso di discipline umanistiche, andando oltre le semplici caratteristiche superficiali.

I primi studi di PNL applicati alla letteratura si concentravano sull'estrazione di entità denominate dai libri, sulla mappatura delle interazioni tra i personaggi e sulla creazione di una cronologia approssimativa della trama. Mi interessano molto di più i temi generali che attraversano l'intero testo, il modo in cui le motivazioni dei personaggi influenzano le loro decisioni e il modo in cui i testi si inseriscono nel contesto più ampio del momento e del luogo in cui l'autore li ha scritti.

Mi occupo principalmente di questo aspetto dal punto di vista della valutazione, per verificare se i modelli linguistici siano in grado di estrarre questi concetti di livello superiore dai testi letterari.

Com'è stato studiare analisi letteraria con l'IA, visto che ChatGPT ha fatto la sua comparsa proprio mentre stavi facendo il dottorato?

Ho una storia incredibile da raccontare al riguardo. Nel mio primo lavoro di dottorato avevo proposto un compito chiamato "recupero di prove letterarie". Poiché gli studiosi citano sempre brani tratti dai testi originali nelle loro analisi, abbiamo preso alcuni paragrafi in cui studiosi di discipline umanistiche analizzavano *Il grande Gatsby*, abbiamo nascosto le citazioni tratte dal romanzo e abbiamo chiesto ai modelli linguistici di recuperarle.

Nel mio primo lavoro ho utilizzato un piccolo retriever compatto basato su RoBERTa perché non potevamo inserire romanzi interi nei modelli linguistici. Nella sezione dedicata alla motivazione ho scritto letteralmente che avevamo bisogno di questo approccio perché non potevamo inserire romanzi completi nel contesto.

Cinque anni dopo, nel mio lavoro più recente ho ripreso questo tema utilizzando modelli linguistici di grandi dimensioni in grado di elaborare interi romanzi. A febbraio ho provato io stesso per la prima volta questo compito: mi ci sono volute otto ore con le copie cartacee dei libri. Nessuno dei modelli ha ottenuto risultati pari ai miei su 40 esempi. Ma quando l’articolo è stato accettato tre mesi dopo, era uscito Gemini Pro 2.5, che mi ha superato. Era un campione così piccolo, ma è stato incredibile vedere quanto velocemente si siano evolute le cose.

All'inizio del mio dottorato non scrivevo alcun prompt. Era una cosa inaudita. Ora mia madre usa i modelli di linguaggio di grandi dimensioni (LLM) per lavoro: prima non sapeva mai a cosa lavorassi, mentre ora ha accesso a un LLM aziendale.

Katherine mentre discute la sua tesi di dottorato

In che modo pensi che i modelli di linguaggio di grandi dimensioni (LLM) leggano in modo diverso dagli esseri umani?

La differenza più evidente è la velocità: Gemini risponde in 30 secondi, mentre io impiegavo in media 12 minuti per ogni esempio. Quando ho analizzato i miei errori, spesso semplicemente non ricordavo frasi specifiche tratte da romanzi di 200-400 pagine, mentre il modello aveva una memoria perfetta.

Credo che i modelli di linguaggio di grandi dimensioni (LLM) elaborino il testo token per token, in un modo simile alla lettura attenta che si pratica nell'analisi letteraria, dove si scompone il testo a livello di singola parola. Tuttavia, quando gli esseri umani leggono 400 pagine, non tutte le parole vengono registrate nel nostro cervello come unità distinte, come invece potrebbe accadere nei modelli.

La sfida della valutazione

Perché è così difficile elaborare valutazioni efficaci e perché c'è un divario così ampio tra le valutazioni attuali e ciò che le persone vivono realmente con questi modelli?

Si tratta del conflitto tra il desiderio di ampliare rapidamente le valutazioni tramite sistemi automatici e la necessità di una valutazione umana approfondita da parte di esperti. Gran parte del mio lavoro si è concentrato sull'assunzione di veri esperti. Per la traduzione automatica di testi letterari, abbiamo assunto traduttori letterari con dottorati in letteratura comparata. Le loro osservazioni erano decisamente diverse da quelle che si otterrebbero da collaboratori su Mechanical Turk, anche nel caso di semplici test A/B.

L'altro aspetto da considerare è il costo della creazione delle valutazioni. Lo scorso anno ho collaborato alla definizione di un benchmark per gli agenti, in cui abbiamo creato manualmente le domande e valutato tutti gli agenti a mano. Probabilmente ho trascorso tutto il mese di marzo osservando l'operatore di OpenAI mentre cliccava qua e là alla ricerca di elementi. Ci è voluto davvero molto tempo per esaminare anche solo 100-150 esempi, ma abbiamo imparato moltissimo dall'osservazione diretta di ciò che facevano gli agenti.

C'è una tensione costante tra il desiderio di ampliare le valutazioni e la necessità di una valutazione umana più graduale e approfondita.

Sviluppo del sistema di rilevamento basato sull'intelligenza artificiale presso Pangram

A cosa stai lavorando alla Pangram?

Sto lavorando a un modello in grado di rilevare quanto l'intelligenza artificiale sia stata utilizzata in un testo. Sappiamo che le persone non si limitano a generare testi con l'intelligenza artificiale: spesso le presentano dei testi che hanno scritto loro stesse e chiedono all'intelligenza artificiale di modificarli. Queste modifiche vanno da piccole correzioni grammaticali a profonde ristrutturazioni o a complete parafrasi.

Vogliamo misurare questo effetto perché possiamo considerare la scala che va dai testi scritti interamente da esseri umani a quelli scritti interamente dall'IA come uno spettro, con i testi modificati dall'IA che si collocano da qualche parte nel mezzo. Stiamo addestrando un modello per identificare in quale punto di quello spettro possa collocarsi un testo.

Questo aspetto è particolarmente importante per i nostri clienti del settore dell'istruzione, ma abbiamo riscontrato interesse anche da parte di molti altri, dato che ormai i modelli di linguaggio di grandi dimensioni (LLM) sono integrati in editor di testo come Google Docs. Le persone vogliono sapere quanto sia invasiva l'IA in un testo: quali modifiche possano essere "perdonabili" e quali invece alleggeriscano in modo significativo il carico cognitivo dell'utente.

Katherine e il team stanno lavorando fino a tardi su un articolo di ricerca

Perché hai deciso di entrare a far parte di Pangram come ricercatore fondatore?

Adoro il team che abbiamo qui. Bradley e Max hanno davvero fatto centro con il team fondatore. Trascorro il 90% del mio tempo con i colleghi di Pangram, ma onestamente non cambierei questa situazione per nulla al mondo — come dimostra il fatto che negli ultimi 10 giorni mi sono allenato con tutti loro!

È davvero bello avere uno spazio in ufficio dove andare. Per un po’ ho fatto il dottorando da remoto, ed è bello avere un posto dove tutti lavorano per un obiettivo comune. Ho iniziato il dottorato subito dopo la laurea, durante il primo anno di pandemia, quindi era tutto da remoto e non avevo un posto dove andare. Non ho mai provato a lavorare in un ufficio né ho mai avuto un “lavoro normale”.

Bradley è una delle persone più brillanti con cui abbia mai lavorato: non sto affatto esagerando. Sento di aver imparato tantissimo e sto acquisendo esperienza pratica in ambiti che non ho avuto modo di approfondire durante il dottorato. Quando sono stati introdotti gli LLM, tutti volevano fare ricerca su di essi e ci siamo dimenticati della modellazione. Non aveva senso cercare di addestrare un proprio modello per stare al passo con i grandi laboratori, quindi non avevo fatto molta modellazione oltre alla messa a punto.

È stato davvero fantastico acquisire competenze pratiche. Non sono un bravo ingegnere informatico perché sono un ricercatore, quindi è stato divertente. Oggi Elyas mi ha aiutato a risolvere alcuni problemi su GitHub per una mezz'ora! E poi poter lavorare con persone brillanti, fare ricerca e vivere a Brooklyn... è una posizione fantastica e adoro la costa orientale.

Uno scettico nei confronti dell'IA nel campo della ricerca sull'IA

Sei più scettico che ottimista riguardo all'intelligenza artificiale e non la integri molto nella tua vita quotidiana. A cosa è dovuto questo scetticismo?

Due cose. A livello personale, sono l'unico tra i miei amici più cari dell'università ad aver intrapreso la carriera nella ricerca informatica. Gli altri sono attuari e non sapevano nulla della modellazione linguistica quando è stata introdotta. Hanno iniziato a sentire parlare di ChatGPT quando Instagram ha integrato l'intelligenza artificiale nelle barre di ricerca e nelle funzioni di chat. Per molto tempo sono stato l'unico a conoscere queste tecnologie, ma i miei amici sembravano stare benissimo anche senza. Mi sono reso conto di quante cose sull'IA mi ronzassero in testa senza che me ne rendessi conto, mentre loro ne erano beatamente all'oscuro ma se la cavavano benissimo.

Mi trovavo in questa sorta di "camera dell'eco" popolata da persone che o erano pessimiste riguardo all'IA o esaltavano a dismisura i modelli di linguaggio (LLM), ma non è di questo che parla il 95% delle persone.

Da un punto di vista filosofico, nel corso del mio percorso di scrittura — durante il quale ho capito che non voglio scrivere, ma amo analizzare — mi sono reso conto di apprezzare solo i testi prodotti dagli esseri umani. Non mi interessa ciò che scrivono i modelli di linguaggio di grandi dimensioni (LLM) né se siano in grado di svolgere compiti di analisi letteraria, perché ritengo che la capacità di fare queste cose sia un pregio proprio degli esseri umani. È un'abilità che gli esseri umani possono possedere, ma non credo che abbia alcun significato se è un LLM a possederla.

Scrivere è un'attività tipicamente umana, e apprezzo molto il fatto che dietro ci sia una persona in carne e ossa. Questo mi ha reso un pessimo rilevatore di testi generati dall'IA, perché semplicemente non leggo i testi scritti dall'IA!

La vita al di fuori del lavoro

Cosa ti piace fare nel tempo libero, quando non lavori?

Adoro portare a spasso i miei cani a Brooklyn: ne ho due e a uno di loro piacciono molto le lunghe passeggiate. Mi piace fare esercizio fisico, leggere romanzi e mi appassionano molto il lavoro a maglia e l'uncinetto.

Ti sei prefissato come obiettivo estivo quello di allenarti con tutti i membri del team Pangram. Qual è stato il tuo allenamento preferito finora?

Sto pensando all'arrampicata con Lu, il che è fantastico perché tra 45 minuti lo rifaremo! L'arrampicata è un'attività molto socievole perché tra un tentativo e l'altro si fanno delle pause, così si chiacchiera e si sta in compagnia.

Ho praticato kickboxing, un allenamento ad alta intensità per tutto il tempo con i sacchi individuali, quindi non proprio orientato al lavoro di squadra. E ho fatto un altro allenamento con i nostri fondatori che è stato un vero caos per un'ora intera: non c'era modo di parlare, cercavamo solo di sopravvivere! Il morale era alto a tratti, anche se forse per Max in alcuni momenti era un po' basso. È stata un'ottima esperienza per rafforzare lo spirito di squadra, ma l'arrampicata vince il premio come attività più socievole.

Consigli per aspiranti ricercatori

Che consiglio daresti a chi desidera avvicinarsi alla ricerca nel campo del machine learning?

Due cose fondamentali: non cercare di portare avanti i progetti da solo. Alcuni dottorandi alle prime armi cadono in questa trappola, ma è fondamentale collaborare con persone più esperte di te. Se si tratta del tuo primo progetto, non c'è davvero nulla di male se le loro idee ti stupiscono e ti impressionano: imparerai tantissimo lavorando con persone molto brillanti.

In secondo luogo, devi provare queste cose in prima persona e uscire dalla tua zona di comfort. Ho imparato Python solo decidendo di usarlo come unico linguaggio per un progetto di ricerca durante un'estate. Sii molto pratico in tutto, compresa la matematica: calcola le derivate a mano!

In realtà, sei mesi fa mi sono appassionato a Math Academy: è stato pazzesco, ma fantastico per riprendere confidenza con i fondamenti della matematica.

Katherine da Pangram

---

Katherine ha recentemente conseguito il dottorato in Informatica presso l'Università del Massachusetts ad Amherst e entrerà a far parte a tempo pieno di Pangram Labs come nostra prima ricercatrice fondatrice. Quando non è impegnata ad addestrare modelli di rilevamento basati sull'intelligenza artificiale o ad analizzare testi letterari con modelli linguistici, la si può trovare a passeggiare con i suoi cani per Brooklyn o a organizzare il prossimo allenamento di squadra.