Em destaque: Conheça Katherine, cientista de investigação em IA

Funcionária em destaque: Katherine Thai

Bem-vindo ao nosso segundo destaque sobre funcionários! Conversámos com Katherine Thai, nossa cientista fundadora de investigação em IA, para discutir a sua trajetória única na área de PLN, a sua investigação sobre análise literária e o que ela está a construir na Pangram Labs. (Observação: esta entrevista foi transcrita e ligeiramente editada para facilitar a leitura pela IA.)

Da matemática e inglês à investigação em PNL

Como você se interessou pela PNL e decidiu fazer um doutorado?

Inicialmente, nunca me interessei diretamente pela PNL. Estudei matemática, ciência da computação e inglês na faculdade e participei de muitos programas de pesquisa de graduação porque adorava a ideia de pesquisar e experimentar, mas não sabia exatamente o que queria estudar.

Quando o meu último ano estava a chegar, um colega de turma sugeriu que a minha licenciatura em Inglês seria útil para estudar PNL, uma vez que se trata da aplicação de computadores ao texto. Eu nunca tinha ouvido falar muito sobre isso — a minha instituição de ensino superior não tinha investigadores ou cursos de PNL.

Acabei encontrando o meu orientador atual, Mohit Iyyer, que estava a trabalhar na compreensão narrativa de histórias longas e livros. Isso realmente me intrigou, porque adoro livros e tinha escrito uma tese de graduação chamada «Mecanismos narrativos da frustração». Quando me candidatei, o meu orientador pensou que se tratava de mecanismos técnicos de ciência da computação, mas não era o caso — era apenas a minha forma de descrever o que acontecia na literatura! Ele achou a minha formação interessante e considerou que a minha experiência em matemática me ajudaria a aprender os fundamentos. Literalmente, fiz o meu primeiro curso de PNL durante o meu primeiro semestre de doutorado.

Estudar Literatura com IA

Conte-nos sobre a sua investigação de doutoramento.

A minha tese intitula-se «Modos de colaboração entre humanos e IA no texto: referências, métricas e tarefas interpretativas». Estou interessado em compreender como os modelos linguísticos podem interpretar o texto e tirar conclusões mais profundas do que um estudioso de ciências humanas, em vez de se limitarem a atributos superficiais.

Os primeiros trabalhos de PNL na literatura focavam-se em extrair entidades nomeadas de livros, mapear interações entre personagens e criar linhas temporais aproximadas do enredo. Estou muito mais interessado em temas abrangentes em textos inteiros, em como as motivações das personagens influenciam as suas decisões e em como os textos se situam no contexto mais amplo de quando e onde o autor os escreveu.

Eu trabalho principalmente com isso como um problema de avaliação — verificando se os modelos de linguagem são capazes de extrair essas ideias de nível superior a partir de textos literários.

Como foi estudar análise literária com IA, com o surgimento do ChatGPT durante o seu doutorado?

Tenho uma história maluca sobre isso. O meu primeiro trabalho de doutoramento propôs uma tarefa chamada «recuperação de evidências literárias». Os estudiosos sempre citam trechos de textos primários nas suas análises, então pegámos parágrafos em que estudiosos de humanidades analisavam O Grande Gatsby, ocultámos as citações do romance e pedimos a modelos de linguagem para recuperar essas citações.

O meu primeiro trabalho utilizou um pequeno recuperador denso baseado em RoBERTa, porque não conseguíamos encaixar romances inteiros nos modelos de linguagem. Eu literalmente escrevi na secção de motivação que precisávamos dessa abordagem porque não conseguíamos colocar romances completos no contexto.

Cinco anos depois, o meu trabalho mais recente revisitou essa tarefa com grandes modelos de linguagem capazes de acomodar romances inteiros. Em fevereiro, tentei realizar a tarefa pela primeira vez — levei oito horas com cópias físicas dos livros. Nenhum dos modelos teve um desempenho tão bom quanto o meu em 40 exemplos. Mas quando o artigo foi aceito, três meses depois, o Gemini Pro 2.5 havia sido lançado e superou o meu desempenho. Era uma amostra muito pequena, mas foi incrível ver como as coisas mudaram rapidamente.

No início do meu doutorado, eu não escrevia nenhum prompt. Isso era algo inédito. Agora, a minha mãe usa LLMs no trabalho — ela nunca sabia no que eu trabalhava e agora tem acesso empresarial ao LLM.

Katherine defendendo sua tese de doutorado

Como acha que os LLMs leem de forma diferente dos humanos?

A diferença mais óbvia é a velocidade — o Gemini responde em 30 segundos, enquanto eu levava em média 12 minutos por exemplo. Quando revisei os meus erros, muitas vezes simplesmente não me lembrava de frases específicas de romances de 200 a 400 páginas, enquanto o modelo tinha uma memória perfeita.

Acho que os LLMs processam o texto token por token de uma forma semelhante à leitura atenta na análise literária, em que se analisa o texto ao nível das palavras. Mas quando os humanos lêem 400 páginas, nem todas as palavras são registadas como unidades distintas no nosso cérebro, como acontece com os modelos.

O desafio da avaliação

Por que é tão difícil conceber boas avaliações e por que existe uma diferença tão grande entre as avaliações atuais e o que as pessoas realmente experimentam com esses modelos?

É a tensão entre querer escalar avaliações rapidamente com avaliação automática versus a necessidade de uma avaliação humana especializada e detalhada. Grande parte do meu trabalho tem-se concentrado em investir na contratação de especialistas reais. Para a tradução automática de literatura, contratámos tradutores literários com doutoramentos em literatura comparada. As suas perspetivas eram definitivamente diferentes das que se obteriam com tradutores automáticos, mesmo para testes A/B simples.

O outro lado é o custo de criar avaliações. Ajudei a trabalhar num benchmark para agentes no ano passado, onde criámos manualmente perguntas e avaliámos todos os agentes à mão. Passei provavelmente todo o mês de março a observar o operador da OpenAI a clicar e a procurar coisas. Demorou muito tempo para analisar até mesmo 100-150 exemplos, mas aprendemos muito ao observar com os nossos próprios olhos o que os agentes estavam a fazer.

Existe uma tensão constante entre o desejo de ampliar as avaliações e a necessidade de uma avaliação humana mais lenta e detalhada.

Desenvolvendo detecção de IA na Pangram

Em que está a trabalhar na Pangram?

Estou a trabalhar num modelo que consegue detetar o quão difundida a IA tem sido num texto. Sabemos que as pessoas não se limitam a gerar texto com IA — muitas vezes trazem textos que escreveram e pedem à IA para os editar. Essas edições variam de pequenas correções gramaticais a grandes reestruturações ou paráfrases completas.

Queremos medir esse efeito porque podemos ver a escala que vai do texto escrito inteiramente por humanos ao texto escrito inteiramente por IA como um espectro, com o texto editado por IA em algum ponto intermediário. Estamos a treinar um modelo para identificar em que ponto desse espectro um texto pode se encaixar.

Isso é muito importante para os nossos clientes do setor educacional, mas temos recebido interesse de muitos outros, já que os LLMs agora estão integrados a editores de texto como o Google Docs. As pessoas querem saber o quanto a IA tem sido invasiva em um texto — quais edições podem ser "perdoáveis" e quais tiram uma carga cognitiva significativa do utilizador.

Katherine e a equipa a trabalhar até tarde num artigo científico

Por que decidiu juntar-se à Pangram como investigador fundador?

Adoro a equipa daqui. O Bradley e o Max realmente arrasaram com a equipa fundadora. Passo 90% do meu tempo com o pessoal da Pangram, mas, sinceramente, não trocaria isso por nada — como prova o facto de ter treinado com todos nos últimos 10 dias!

É muito bom ter um espaço de escritório para ir. Fui estudante de doutorado remoto por um tempo, e é divertido ter um espaço onde todos trabalham em prol de um objetivo semelhante. Comecei o meu doutorado logo após a graduação, durante o primeiro ano da COVID, então foi totalmente remoto, sem ter para onde ir. Nunca experimentei trabalhar num escritório ou ter um «emprego normal».

Bradley é uma das pessoas mais inteligentes com quem já trabalhei — sem exagero. Sinto que aprendi muito e estou a adquirir experiência prática com coisas que não tive oportunidade de fazer no meu doutoramento. Quando os LLMs surgiram, todos queriam fazer investigação sobre eles e esquecemos a modelação. Não fazia sentido tentar treinar o seu próprio modelo para acompanhar os grandes laboratórios, por isso não tinha feito muita modelação além do ajuste fino.

Tem sido muito fixe adquirir competências práticas. Não sou um bom engenheiro de software porque sou investigador, por isso tem sido divertido. O Elyas ajudou-me a resolver problemas no GitHub durante meia hora hoje! E poder trabalhar com pessoas inteligentes, fazer investigação e estar em Brooklyn — é uma localização excelente e adoro a Costa Leste.

Um cético da IA na pesquisa sobre IA

Você é mais cético do que otimista em relação à IA e não a integra muito na sua vida diária. O que sustenta esse ceticismo?

Duas coisas. Em pequena escala, sou o único dos meus amigos próximos da faculdade que se dedicou à investigação em ciência da computação. Os outros são atuários e não sabiam nada sobre modelação de linguagem quando ela surgiu. Começaram a ouvir falar do ChatGPT quando o Instagram adicionou IA às barras de pesquisa e aos recursos de chat. Durante muito tempo, fui o único que sabia sobre essas tecnologias, mas os meus amigos pareciam viver bem sem elas. Percebi o quanto as coisas relacionadas à IA estavam na minha cabeça sem que eu pagasse aluguel, enquanto eles viviam felizes na ignorância, mas estavam bem assim.

Eu estava nessa câmara de eco de pessoas que ou eram pessimistas em relação à IA ou realmente exageravam nas expectativas em relação aos LLMs, mas isso não é o que 95% das pessoas falam.

Em uma escala filosófica, ao longo da minha jornada como escritor — aprendendo que não quero escrever, mas adoro analisar — percebi que só valorizo textos que vêm de seres humanos. Não me importo com o que os LLMs escrevem ou se eles podem fazer tarefas de análise literária, porque acho que a capacidade de fazer essas coisas é valiosa para os seres humanos. É uma habilidade que os seres humanos podem ter, mas não acho que signifique nada se um LLM tiver essa habilidade.

Escrever é uma tarefa muito humana, e eu realmente valorizo o facto de haver um humano por trás disso. Isso fez de mim um péssimo detetor de textos gerados por IA, porque eu simplesmente não leio textos gerados por IA!

A vida fora do trabalho

O que gosta de fazer para se divertir fora do trabalho?

Adoro passear com os meus cães pelo Brooklyn — tenho dois cães e um deles gosta muito de longas caminhadas. Gosto de fazer exercício, ler ficção e sou bastante fã de tricô e croché.

Estabeleceu como meta para o verão treinar com todos os membros da equipa Pangram. Qual foi o seu treino favorito até agora?

Acho que escalar com o Lu, o que é bom porque estamos prestes a fazê-lo novamente em 45 minutos! A escalada é muito social porque fazemos pausas entre as tentativas, então conversamos e passamos tempo juntos.

Eu pratiquei kickboxing, que é um treino de alta intensidade com sacos individuais, portanto, não é tão orientado para o trabalho em equipa. E fiz outro treino com os nossos fundadores que foi caótico durante toda a hora — sem oportunidade para conversar, estávamos apenas a tentar sobreviver! O moral estava alto em alguns momentos, embora talvez baixo para o Max em outros. Foi uma ótima experiência de integração da equipa, mas a escalada ganha por ser a mais social.

Conselhos para aspirantes a investigadores

Que conselho você daria a alguém que deseja ingressar na área de pesquisa em ML?

Duas coisas principais: não tente fazer projetos sozinho. Alguns estudantes de doutorado em início de carreira caem nessa armadilha, mas é preciso colaborar com pessoas mais experientes do que você. Se for o seu primeiro projeto, sinceramente, não há problema se eles estiverem a fazer coisas que o surpreendem e impressionam — você aprenderá muito ao trabalhar com pessoas muito inteligentes.

Em segundo lugar, precisa experimentar essas coisas por conta própria e sair da sua zona de conforto. Aprendi Python apenas ao decidir usá-lo como minha única linguagem durante um verão para um projeto de pesquisa. Seja muito prático com tudo, incluindo a matemática — escreva as derivadas à mão!

Na verdade, fiquei viciado na Math Academy há seis meses, o que foi louco, mas incrível para voltar aos fundamentos matemáticos.

Katherine em Pangram

Katherine concluiu recentemente o seu doutoramento em Ciência da Computação na UMass Amherst e irá juntar-se à Pangram Labs a tempo inteiro como a nossa primeira investigadora científica fundadora. Quando não está a treinar modelos de deteção de IA ou a analisar literatura com modelos linguísticos, pode encontrá-la a passear os seus cães em Brooklyn ou a planear o próximo treino da equipa.