Em destaque: Conheça a Katherine, investigadora na área da IA

Em destaque: Katherine Thai

Bem-vindos à nossa segunda edição da rubrica «Em destaque: os nossos colaboradores»! Conversámos com Katherine Thai, a nossa investigadora fundadora na área da IA, para falar sobre o seu percurso único até ao NLP, a sua investigação em análise literária e o que está a desenvolver na Pangram Labs. (Nota: esta entrevista foi transcrita e ligeiramente editada por IA para facilitar a leitura.)

Da Matemática e do Inglês à Investigação em PNL

Como é que se interessou pela PNL e decidiu fazer um doutoramento?

No início, nunca me interessei diretamente pela PNL. Estudei matemática, ciências da computação e inglês na licenciatura e participei em muitos programas de investigação de licenciatura, porque adorava a ideia de investigar e experimentar, mas não sabia exatamente o que queria estudar.

Quando o meu último ano se aproximava, um colega sugeriu que a minha licenciatura em Inglês se prestava ao estudo da PNL, uma vez que esta consiste na aplicação da informática ao texto. Eu nunca tinha ouvido falar muito sobre o assunto — a minha faculdade não tinha investigadores nem cursos de PNL.

Acabei por encontrar o meu orientador atual, Mohit Iyyer, que estava a trabalhar na compreensão narrativa de histórias longas e livros. Isso despertou-me muito o interesse, porque adoro livros e tinha escrito uma tese de licenciatura intitulada «Mecanismos narrativos da frustração». Quando me candidatei, o meu orientador pensou que se tratava de mecanismos técnicos de ciência da computação, mas não eram — era apenas a forma como eu descrevia o que se passava na literatura! Ele achou a minha formação interessante e pensou que a minha formação em matemática me ajudaria a assimilar os fundamentos. Literalmente, fiz o meu primeiro curso de PLN durante o meu primeiro semestre de doutoramento.

Estudar Literatura com IA

Fale-nos sobre a sua investigação de doutoramento.

A minha tese intitula-se «Modos de colaboração entre humanos e IA no texto: referências, métricas e tarefas interpretativas». Estou interessado em compreender como os modelos linguísticos podem interpretar o texto e tirar conclusões mais profundas do que um investigador das ciências humanas, em vez de se limitarem a atributos superficiais.

Os primeiros trabalhos de PLN na área da literatura centraram-se na extração de entidades nomeadas de livros, no mapeamento das interações entre personagens e na criação de linhas temporais gerais do enredo. Estou muito mais interessado nos temas gerais que percorrem textos na sua totalidade, na forma como as motivações das personagens influenciam as suas decisões e na forma como os textos se inserem no contexto mais amplo de quando e onde o autor os escreveu.

Abordo isto principalmente como um problema de avaliação — para verificar se os modelos linguísticos são capazes de extrair essas ideias de nível superior a partir de textos literários.

Como foi estudar análise literária com IA, tendo em conta o surgimento do ChatGPT durante o seu doutoramento?

Tenho uma história incrível sobre isto. O meu primeiro trabalho de doutoramento propunha uma tarefa denominada «recuperação de evidências literárias». Os estudiosos citam sempre passagens de textos originais nas suas análises, por isso selecionámos parágrafos em que estudiosos das ciências humanas analisavam *O Grande Gatsby*, ocultámos as citações do romance e pedimos a modelos linguísticos que recuperassem essas citações.

No meu primeiro trabalho, utilizei um pequeno mecanismo de pesquisa denso baseado no RoBERTa, porque não conseguíamos incluir romances completos nos modelos de linguagem. Escrevi literalmente na secção de motivação que precisávamos desta abordagem porque não conseguíamos incluir romances completos no contexto.

Cinco anos depois, o meu trabalho mais recente retomou esta tarefa com modelos de linguagem de grande dimensão, capazes de processar romances inteiros. Em fevereiro, experimentei a tarefa pela primeira vez — demorei oito horas com exemplares físicos dos livros. Nenhum dos modelos se saiu tão bem quanto eu em 40 exemplos. Mas quando o artigo foi aceite, três meses depois, o Gemini Pro 2.5 já tinha sido lançado e superou o meu desempenho. Era uma amostra tão pequena, mas foi incrível ver a rapidez com que as coisas evoluíram.

No início do meu doutoramento, eu não escrevia nenhum prompt. Isso era algo inédito. Agora, a minha mãe usa modelos de linguagem de grande escala (LLM) no seu trabalho — antes, ela nunca sabia no que eu trabalhava e agora tem acesso a LLM empresariais.

Katherine a defender a sua tese de doutoramento

Na sua opinião, em que medida é que os LLMs leem de forma diferente dos seres humanos?

A diferença mais evidente é a rapidez — o Gemini responde em 30 segundos, enquanto eu demorei, em média, 12 minutos por exemplo. Quando analisei os meus erros, muitas vezes simplesmente não me lembrava de frases específicas de romances com 200 a 400 páginas, enquanto o modelo demonstrava uma memória perfeita.

Penso que os LLMs processam o texto token a token, de uma forma semelhante à leitura atenta na análise literária, em que se analisa o texto ao nível das palavras. Mas quando os seres humanos lêem 400 páginas, nem todas as palavras são registadas como unidades distintas no nosso cérebro, tal como acontece com os modelos.

O Desafio da Avaliação

Por que razão é tão difícil conceber boas avaliações e por que razão existe uma discrepância tão grande entre as avaliações atuais e o que as pessoas realmente vivem com estes modelos?

Trata-se da tensão entre o desejo de ampliar rapidamente as avaliações através da avaliação automática e a necessidade de uma avaliação humana especializada e minuciosa. Grande parte do meu trabalho tem-se centrado no investimento na contratação de verdadeiros especialistas. Para a tradução automática de literatura, contratámos tradutores literários com doutoramentos em literatura comparada. As suas perspetivas eram claramente diferentes daquelas que se obteria com colaboradores do Mechanical Turk, mesmo em testes A/B simples.

Por outro lado, há o custo de criar as avaliações. No ano passado, ajudei a desenvolver um teste de desempenho para agentes, no qual criámos manualmente as perguntas e avaliámos todos os agentes à mão. Passei provavelmente todo o mês de março a observar o operador da OpenAI a clicar e a procurar coisas. Demorou imenso tempo a analisar apenas 100 a 150 exemplos, mas aprendemos imenso ao ter olhos humanos a acompanhar o que os agentes estavam a fazer.

Existe uma tensão constante entre o desejo de ampliar as avaliações e a necessidade de uma avaliação humana mais lenta e minuciosa.

Desenvolvimento da detecção por IA na Pangram

Em que estás a trabalhar na Pangram?

Estou a trabalhar num modelo capaz de detetar o grau de intervenção da IA num texto. Sabemos que as pessoas não se limitam a gerar texto com a IA — muitas vezes apresentam textos que escreveram e pedem à IA para os editar. Estas edições vão desde pequenas correções gramaticais até reestruturações significativas ou parafraseamentos completos.

Queremos medir esse efeito porque podemos encarar a escala que vai do texto escrito inteiramente por humanos ao texto escrito inteiramente por IA como um espectro, com o texto editado por IA algures no meio. Estamos a treinar um modelo para identificar em que ponto desse espectro um texto se pode situar.

Isto é realmente importante para os nossos clientes do setor educativo, mas temos recebido manifestações de interesse de muitos outros, uma vez que os LLMs estão agora integrados em editores de texto como o Google Docs. As pessoas querem saber até que ponto a IA tem interferido num texto — quais as edições que podem ser consideradas «perdoáveis» e quais as que aliviam significativamente a carga cognitiva do utilizador.

A Katherine e a equipa estão a trabalhar até tarde num artigo de investigação

Por que decidiu juntar-se à Pangram como investigador fundador?

Adoro a equipa daqui. O Bradley e o Max arrasaram mesmo com a equipa fundadora. Passo 90% do meu tempo com o pessoal da Pangram, mas, sinceramente, não o trocaria por nada — como prova o facto de ter treinado com toda a gente nos últimos 10 dias!

É mesmo bom ter um espaço de escritório onde possa ir. Fui estudante de doutoramento a distância durante algum tempo, e é divertido ter um espaço onde todos trabalham com um objetivo semelhante. Comecei o meu doutoramento logo a seguir à licenciatura, durante o primeiro ano da pandemia da COVID, por isso foi totalmente a distância, sem ter para onde ir. Nunca tive a experiência de trabalhar num escritório nem de ter um «emprego normal».

O Bradley é uma das pessoas mais inteligentes com quem já trabalhei — e não estou a exagerar. Sinto que aprendi imenso e estou a ganhar experiência prática com coisas que não tive oportunidade de fazer no meu doutoramento. Quando os LLMs surgiram, toda a gente queria fazer investigação sobre eles e esquecemo-nos da modelação. Não fazia sentido tentar treinar o nosso próprio modelo para acompanhar os grandes laboratórios, por isso não tinha feito muita modelação além do ajuste fino.

Tem sido muito fixe adquirir competências práticas. Não sou um bom engenheiro de software porque sou investigador, por isso tem sido divertido. O Elyas ajudou-me hoje a resolver problemas no GitHub durante meia hora! E poder trabalhar com pessoas inteligentes, fazer investigação e estar em Brooklyn... é uma localização fantástica e adoro a Costa Leste.

Um cético em relação à IA na investigação sobre IA

É mais cético do que otimista em relação à IA e não a integra muito no seu dia-a-dia. O que está na origem desse cepticismo?

Duas coisas. A nível pessoal, sou o único dos meus amigos mais próximos da faculdade que seguiu a carreira de investigação em ciências da computação. Os outros são atuários e não sabiam o que era a modelação de linguagem quando surgiu. Só começaram a ouvir falar do ChatGPT quando o Instagram adicionou IA às barras de pesquisa e às funcionalidades de chat. Durante muito tempo, fui o único que conhecia estas tecnologias, mas os meus amigos pareciam estar bem sem elas. Percebi o quanto as coisas relacionadas com a IA ocupavam a minha cabeça sem pagar renda, enquanto eles viviam alegremente alheios a tudo isso, mas estavam bem assim.

Estava numa espécie de bolha onde as pessoas ou eram pessimistas em relação à IA ou exaltavam excessivamente os LLMs, mas não é disso que 95% das pessoas falam.

Numa perspetiva filosófica, ao longo da minha trajetória como escritor — ao perceber que não quero escrever, mas adoro analisar —, percebi que só valorizo o texto que provém de seres humanos. Não me interessa o que os LLMs escrevem nem se são capazes de realizar tarefas de análise literária, porque considero que a capacidade de fazer essas coisas é valiosa para os seres humanos. É uma competência que os seres humanos podem possuir, mas não creio que signifique nada se um LLM a possuir.

Escrever é uma tarefa muito humana, e eu valorizo muito o facto de ter sido um ser humano a fazê-lo. Isso fez de mim um péssimo detetor de textos gerados por IA, porque simplesmente não leio textos gerados por IA!

A vida fora do trabalho

O que gostas de fazer para te divertires fora do trabalho?

Adoro passear com os meus cães pelo Brooklyn — tenho dois cães e um deles adora passeios longos. Gosto de fazer exercício, ler ficção e sou bastante apaixonada por tricô e croché.

Estabeleceste como objetivo para este verão treinar com toda a equipa da Pangram. Qual foi o teu treino preferido até agora?

Acho que é escalar com o Lu, o que é ótimo, porque estamos prestes a repetir a dose daqui a 45 minutos! A escalada é uma atividade muito social, porque fazemos pausas entre as tentativas, por isso conversamos e passamos tempo juntos.

Já pratiquei kickboxing, que é um treino de alta intensidade do início ao fim com sacos individuais, por isso não é tão orientado para o trabalho em equipa. E fiz outro treino com os nossos fundadores que foi um caos durante toda a hora — não havia oportunidade para conversar, estávamos apenas a tentar sobreviver! O ânimo estava em alta em alguns momentos, embora talvez o Max estivesse um pouco desanimado em certos momentos. Foi uma excelente experiência de coesão de equipa, mas a escalada ganha por ser a atividade mais social.

Conselhos para futuros investigadores

Que conselho daria a alguém que pretende entrar na área da investigação em aprendizagem automática?

Duas coisas importantes: não tentes realizar projetos sozinho. Alguns estudantes de doutoramento em início de carreira caem nessa armadilha, mas é preciso colaborar com pessoas mais experientes do que tu. Se for o teu primeiro projeto, não há problema nenhum se eles fizerem coisas que te surpreendam e impressionem — vais aprender imenso ao trabalhar com pessoas muito inteligentes.

Em segundo lugar, tens de experimentar estas coisas por ti próprio e sair da tua zona de conforto. Aprendi Python apenas por ter decidido usá-lo como minha única linguagem durante um verão, para um projeto de investigação. Sê muito prático em tudo, incluindo a matemática — calcula as derivadas à mão!

Na verdade, fiquei viciado no Math Academy há seis meses, o que foi uma loucura, mas foi fantástico para voltar aos fundamentos da matemática.

Katherine no Pangram

A Katherine concluiu recentemente o seu doutoramento em Ciência da Computação na UMass Amherst e vai integrar a Pangram Labs a tempo inteiro como a nossa primeira investigadora científica fundadora. Quando não está a treinar modelos de deteção de IA ou a analisar literatura com modelos linguísticos, pode encontrá-la a passear os seus cães pelo Brooklyn ou a planear o próximo treino da equipa.