Dipendente in primo piano: vi presentiamo Katherine, ricercatrice nel campo dell'intelligenza artificiale

Dipendente in primo piano: Katherine Thai

Benvenuti alla nostra seconda puntata dedicata ai nostri dipendenti! Abbiamo incontrato Katherine Thai, la nostra ricercatrice fondatrice nel campo dell'intelligenza artificiale, per discutere del suo percorso unico nel campo dell'NLP, della sua ricerca sull'analisi letteraria e di ciò che sta realizzando presso Pangram Labs. (Nota: questa intervista è stata trascritta e leggermente modificata dall'intelligenza artificiale per facilitarne la lettura).

Da matematica e inglese alla ricerca sulla PNL

Come ti sei interessato alla PNL e hai deciso di conseguire un dottorato di ricerca?

All'inizio non mi sono mai interessato direttamente alla PNL. Ho studiato matematica, informatica e inglese all'università e ho partecipato a molti programmi di ricerca perché mi piaceva l'idea di fare ricerca e sperimentare, ma non sapevo esattamente cosa volevo studiare.

Quando si avvicinava l'ultimo anno, un compagno di classe mi suggerì che la mia laurea in inglese mi avrebbe aiutato a studiare l'NLP, poiché si tratta dell'applicazione dei computer al testo. Non ne avevo mai sentito parlare molto: la mia università non aveva ricercatori o corsi di NLP.

Alla fine ho trovato il mio attuale relatore, Mohit Iyyer, che stava lavorando sulla comprensione narrativa di storie e libri lunghi. Questo mi ha davvero incuriosito perché amo i libri e avevo scritto una tesi di laurea dal titolo "Meccanismi narrativi della frustrazione". Quando ho presentato la domanda, il mio relatore pensava che si trattasse di meccanismi tecnici di informatica, ma non era così: era solo il modo in cui descrivevo ciò che accadeva nella letteratura! Ha trovato il mio background interessante e ha pensato che le mie conoscenze matematiche mi avrebbero aiutato ad apprendere le nozioni fondamentali. Ho frequentato il mio primo corso di PNL durante il mio primo semestre di dottorato.

Studiare letteratura con l'intelligenza artificiale

Raccontaci della tua ricerca di dottorato.

La mia tesi si intitola "Modalità di collaborazione tra uomo e IA nel testo: parametri di riferimento, metriche e compiti interpretativi". Mi interessa capire come i modelli linguistici possano interpretare il testo e trarre conclusioni più approfondite rispetto a quelle che potrebbe trarre uno studioso di scienze umane, piuttosto che limitarsi ad attributi superficiali.

I primi lavori di PNL sulla letteratura si concentravano sull'estrazione di entità denominate dai libri, sulla mappatura delle interazioni tra i personaggi e sulla creazione di linee temporali approssimative della trama. Sono molto più interessato ai temi generali che attraversano l'intero testo, al modo in cui le motivazioni dei personaggi influenzano le loro decisioni e al modo in cui i testi si collocano nel contesto più ampio del momento e del luogo in cui l'autore li ha scritti.

Mi occupo principalmente di questo aspetto come problema di valutazione, verificando se i modelli linguistici sono in grado di estrarre queste idee di livello superiore dai testi letterari.

Com'è stato studiare analisi letteraria con l'AI quando ChatGPT è emerso durante il tuo dottorato di ricerca?

Ho una storia incredibile al riguardo. Il mio primo lavoro di dottorato proponeva un compito chiamato "recupero di prove letterarie". Gli studiosi citano sempre brani tratti dai testi originali nelle loro analisi, quindi abbiamo preso dei paragrafi in cui studiosi di lettere analizzavano Il grande Gatsby, abbiamo nascosto le citazioni tratte dal romanzo e abbiamo chiesto ai modelli linguistici di recuperare quelle citazioni.

Il mio primo lavoro utilizzava un piccolo retriever denso basato su RoBERTa perché non riuscivamo a inserire interi romanzi nei modelli linguistici. Nella sezione dedicata alla motivazione ho scritto letteralmente che avevamo bisogno di questo approccio perché non riuscivamo a inserire romanzi completi nel contesto.

Cinque anni dopo, il mio lavoro più recente ha ripreso questo compito con modelli linguistici di grandi dimensioni in grado di contenere interi romanzi. A febbraio ho provato per la prima volta a svolgere questo compito da solo: mi ci sono volute otto ore con copie fisiche dei libri. Nessuno dei modelli ha ottenuto risultati pari ai miei su 40 esempi. Ma quando l'articolo è stato accettato tre mesi dopo, Gemini Pro 2.5 era già uscito e aveva superato le mie prestazioni. Si trattava di un campione molto piccolo, ma è stato incredibile vedere quanto velocemente fossero cambiate le cose.

All'inizio del mio dottorato di ricerca non scrivevo alcun prompt. Era una cosa inaudita. Ora mia madre usa gli LLM nel suo lavoro: prima non sapeva mai a cosa lavorassi, mentre ora ha accesso agli LLM aziendali.

Katherine difende la sua tesi di dottorato

In che modo pensi che gli LLM leggano in modo diverso dagli esseri umani?

La differenza più evidente è la velocità: Gemini risponde in 30 secondi, mentre io impiegavo in media 12 minuti per ogni esempio. Quando ho rivisto i miei errori, spesso mi sono reso conto che semplicemente non ricordavo frasi specifiche tratte da romanzi di 200-400 pagine, mentre il modello aveva una memoria perfetta.

Penso che gli LLM elaborino il testo token per token in modo simile alla lettura attenta nell'analisi letteraria, in cui si analizza il testo a livello di singole parole. Ma quando gli esseri umani leggono 400 pagine, non tutte le parole vengono registrate come unità distinte nel nostro cervello, come invece avviene per i modelli.

La sfida della valutazione

Perché è così difficile progettare valutazioni efficaci e perché esiste un divario così grande tra le valutazioni attuali e l'esperienza reale delle persone con questi modelli?

È la tensione tra il desiderio di scalare rapidamente le valutazioni con la valutazione automatica e la necessità di una valutazione umana approfondita da parte di esperti. Gran parte del mio lavoro si è concentrato sull'investimento nell'assunzione di veri esperti. Per la traduzione automatica di testi letterari, abbiamo assunto traduttori letterari con dottorati in letteratura comparata. Le loro intuizioni erano decisamente diverse da quelle che si otterrebbero dai Mechanical Turk, anche per semplici test A/B.

L'altro aspetto è il costo della creazione delle valutazioni. Lo scorso anno ho contribuito alla realizzazione di un benchmark per gli agenti, in cui abbiamo creato manualmente le domande e valutato tutti gli agenti a mano. Probabilmente ho trascorso tutto il mese di marzo osservando l'operatore di OpenAI cliccare qua e là alla ricerca di informazioni. Ci è voluto molto tempo per esaminare anche solo 100-150 esempi, ma abbiamo imparato moltissimo osservando con i nostri occhi ciò che facevano gli agenti.

C'è una tensione costante tra il desiderio di ampliare le valutazioni e la necessità di una valutazione umana più lenta e dettagliata.

Sviluppo del rilevamento AI presso Pangram

A cosa stai lavorando alla Pangram?

Sto lavorando a un modello in grado di rilevare quanto sia pervasiva l'intelligenza artificiale in un testo. Sappiamo che le persone non si limitano a generare testi con l'AI, ma spesso presentano testi che hanno scritto loro stessi e chiedono all'AI di modificarli. Queste modifiche vanno da piccole correzioni grammaticali a ristrutturazioni importanti o parafrasi complete.

Vogliamo misurare tale effetto perché possiamo considerare la scala che va dal testo scritto interamente dall'uomo a quello scritto interamente dall'IA come uno spettro, con il testo modificato dall'IA che si colloca da qualche parte nel mezzo. Stiamo addestrando un modello per identificare in quale punto dello spettro potrebbe collocarsi un testo.

Questo è molto importante per i nostri clienti nel settore dell'istruzione, ma abbiamo riscontrato interesse anche da parte di molti altri, dato che gli LLM sono ora integrati in editor di testo come Google Docs. Le persone vogliono sapere quanto sia invasiva l'IA in un testo: quali modifiche potrebbero essere "perdonabili" e quali invece comportano un carico cognitivo significativo per l'utente.

Katherine e il team lavorano fino a tardi su un articolo di ricerca

Perché hai deciso di entrare a far parte di Pangram come ricercatore fondatore?

Adoro il team qui. Bradley e Max hanno davvero fatto un ottimo lavoro con il team fondatore. Trascorro il 90% del mio tempo con le persone di Pangram, ma onestamente non vorrei che fosse diversamente, come dimostra il fatto che negli ultimi 10 giorni mi sono allenato con tutti!

È davvero bello avere uno spazio ufficio dove andare. Per un po' ho studiato a distanza per il dottorato ed è divertente avere uno spazio dove tutti lavorano per un obiettivo comune. Ho iniziato il dottorato subito dopo la laurea, durante il primo anno di COVID, quindi era completamente a distanza e non avevo un posto dove andare. Non ho mai provato a lavorare in un ufficio o ad avere un "lavoro normale".

Bradley è una delle persone più intelligenti con cui abbia mai lavorato, senza esagerare. Sento di aver imparato tantissimo e di aver acquisito esperienza pratica in cose che non ho potuto fare durante il mio dottorato di ricerca. Quando sono stati introdotti gli LLM, tutti volevano fare ricerca su di essi e ci siamo dimenticati della modellazione. Non aveva senso cercare di addestrare il proprio modello per stare al passo con i grandi laboratori, quindi non avevo fatto molta modellazione oltre alla messa a punto.

È stato davvero fantastico acquisire competenze pratiche. Non sono un bravo ingegnere informatico perché sono un ricercatore, quindi è stato divertente. Oggi Elyas mi ha aiutato a risolvere alcuni problemi su GitHub per mezz'ora! E poter lavorare con persone intelligenti, fare ricerca e stare a Brooklyn... è un posto fantastico e adoro la costa orientale.

Uno scettico dell'IA nella ricerca sull'IA

Sei più uno scettico che un ottimista riguardo all'intelligenza artificiale e non la integri molto nella tua vita quotidiana. Cosa sta alla base di questo scetticismo?

Due cose. Su scala micro, sono l'unico dei miei amici del college ad aver intrapreso la carriera di ricercatore nel campo dell'informatica. Gli altri sono attuari e non sapevano nulla della modellazione linguistica quando è stata introdotta. Hanno iniziato a sentire parlare di ChatGPT quando Instagram ha aggiunto l'intelligenza artificiale alle barre di ricerca e alle funzioni di chat. Per molto tempo sono stato l'unico a conoscere queste tecnologie, ma i miei amici sembravano stare bene senza. Mi sono reso conto di quanto l'intelligenza artificiale occupasse la mia mente, mentre loro ne erano beatamente ignari, ma se la cavavano benissimo.

Mi trovavo in questa camera di risonanza di persone che o erano pessimiste riguardo all'intelligenza artificiale o esaltavano davvero gli LLM, ma non è di questo che parla il 95% delle persone.

Da un punto di vista filosofico, attraverso il mio percorso di scrittura - imparando che non voglio scrivere ma amo analizzare - ho capito che apprezzo solo i testi scritti da esseri umani. Non mi interessa cosa scrivono gli LLM o se sono in grado di svolgere compiti di analisi letteraria, perché penso che la capacità di fare queste cose sia preziosa per gli esseri umani. È un'abilità che gli esseri umani possono avere, ma non credo che significhi nulla se un LLM possiede questa abilità.

Scrivere è un'attività molto umana, e apprezzo molto il fatto che dietro ci sia una persona. Questo mi ha reso un pessimo rilevatore di testi generati dall'intelligenza artificiale, perché semplicemente non leggo testi generati dall'intelligenza artificiale!

La vita al di fuori del lavoro

Cosa ti piace fare per divertirti fuori dal lavoro?

Adoro portare a spasso i miei cani a Brooklyn: ne ho due e uno di loro ama particolarmente le lunghe passeggiate. Mi piace allenarmi, leggere romanzi e mi appassionano molto il lavoro a maglia e l'uncinetto.

Ti sei prefissato l'obiettivo estivo di allenarti con tutti i membri del team Pangram. Qual è stato il tuo allenamento preferito finora?

Penso che arrampicare con Lu sia fantastico, ed è un bene perché tra 45 minuti lo rifaremo! L'arrampicata è un'attività molto sociale perché tra un tentativo e l'altro ci si prende delle pause, quindi si chiacchiera e si sta in compagnia.

Ho praticato kickboxing, che è un'attività ad alta intensità con sacchi individuali, quindi non molto orientata al lavoro di squadra. Ho anche fatto un altro allenamento con i nostri fondatori che è stato caotico per un'ora intera: non c'era modo di parlare, cercavamo solo di sopravvivere! Il morale era alto a volte, anche se forse Max era un po' giù in alcuni momenti. È stata un'ottima esperienza per rafforzare lo spirito di squadra, ma l'arrampicata vince per essere l'attività più sociale.

Consigli per aspiranti ricercatori

Che consiglio daresti a qualcuno che desidera intraprendere una carriera nella ricerca nel campo del machine learning?

Due cose fondamentali: non cercare di portare avanti i progetti da solo. Alcuni dottorandi alle prime armi cadono in questa trappola, ma è necessario collaborare con persone più esperte di te. Se è il tuo primo progetto, va benissimo se fanno cose che ti stupiscono e ti impressionano: imparerai moltissimo lavorando con persone molto intelligenti.

In secondo luogo, devi provare queste cose da solo e uscire dalla tua zona di comfort. Ho imparato Python solo decidendo di usarlo come unico linguaggio durante un'estate per un progetto di ricerca. Sii molto pratico con tutto, compresa la matematica: scrivi le derivate a mano!

In realtà sei mesi fa mi sono appassionato a Math Academy, il che è stato folle ma fantastico per riprendere le basi della matematica.

Katherine a Pangram

Katherine ha recentemente conseguito il dottorato in Informatica presso l'UMass Amherst e entrerà a far parte di Pangram Labs a tempo pieno come nostra prima ricercatrice scientifica fondatrice. Quando non è impegnata ad addestrare modelli di rilevamento AI o ad analizzare la letteratura con modelli linguistici, la potete trovare a passeggiare con i suoi cani a Brooklyn o a pianificare il prossimo allenamento di squadra.