Empleada destacada: Conoce a Katherine, investigadora científica en inteligencia artificial

Empleada destacada: Katherine Thai

¡Bienvenidos a nuestra segunda entrevista destacada a un empleado! Nos hemos sentado con Katherine Thai, nuestra científica investigadora fundadora en IA, para hablar sobre su singular trayectoria en el campo del procesamiento del lenguaje natural (NLP), su investigación sobre análisis literario y lo que está desarrollando en Pangram Labs. (Nota: esta entrevista ha sido transcrita y ligeramente editada por IA para facilitar su lectura).

De las matemáticas y el inglés a la investigación en PNL

¿Cómo te interesaste por la PNL y decidiste hacer un doctorado?

Al principio, nunca me interesó directamente la PNL. Estudié matemáticas, informática e inglés en la universidad y participé en muchos programas de investigación para estudiantes universitarios porque me encantaba la idea de investigar y experimentar, pero no sabía exactamente qué quería estudiar.

Cuando se acercaba mi último año, un compañero de clase me sugirió que mi título en inglés se prestaría para estudiar PLN, ya que se trata de la aplicación de la informática al texto. Nunca había oído hablar mucho de ello, ya que mi universidad no contaba con investigadores ni cursos de PLN.

Finalmente encontré a mi actual asesor, Mohit Iyyer, que estaba trabajando en la comprensión narrativa de historias y libros largos. Esto me intrigó mucho porque me encantan los libros y había escrito una tesis de grado titulada «Mecanismos narrativos de la frustración». Cuando presenté mi solicitud, mi asesor pensó que se trataba de mecanismos técnicos de informática, pero no era así: ¡solo era mi forma de describir lo que ocurría en la literatura! Le pareció interesante mi trayectoria y pensó que mis conocimientos de matemáticas me ayudarían a aprender los fundamentos. Literalmente, cursé mi primera asignatura de PLN durante mi primer semestre de doctorado.

Estudiar literatura con IA

Cuéntenos sobre su investigación doctoral.

Mi tesis se titula «Modos de colaboración entre humanos e IA en el texto: puntos de referencia, métricas y tareas interpretativas». Me interesa comprender cómo los modelos lingüísticos pueden interpretar el texto y extraer conclusiones más profundas que las que podría extraer un estudioso de las humanidades, en lugar de limitarse a atributos superficiales.

Los primeros trabajos de PNL sobre literatura se centraban en extraer entidades nombradas de los libros, mapear las interacciones entre los personajes y crear líneas temporales aproximadas de la trama. Me interesan mucho más los temas generales que abarcan textos completos, cómo las motivaciones de los personajes influyen en sus decisiones y cómo los textos se sitúan en el contexto más amplio de cuándo y dónde los escribió el autor.

Principalmente trabajo en esto como un problema de evaluación: ver si los modelos lingüísticos son capaces de extraer estas ideas de alto nivel de los textos literarios.

¿Cómo fue estudiar análisis literario con IA cuando apareció ChatGPT durante tu doctorado?

Tengo una historia increíble sobre esto. Mi primer trabajo de doctorado proponía una tarea llamada «recuperación de pruebas literarias». Los académicos siempre citan fragmentos de textos primarios en sus análisis, así que tomamos párrafos en los que académicos de humanidades analizaban El gran Gatsby, ocultamos las citas de la novela y pedimos a modelos lingüísticos que recuperaran esas citas.

Mi primer trabajo utilizó un pequeño y denso recuperador basado en RoBERTa porque no podíamos incluir novelas completas en los modelos de lenguaje. Literalmente escribí en la sección de motivación que necesitábamos este enfoque porque no podíamos incluir novelas completas en el contexto.

Cinco años después, mi trabajo más reciente retomó esta tarea con grandes modelos lingüísticos capaces de procesar novelas completas. En febrero, probé la tarea por primera vez: me llevó ocho horas con copias físicas de los libros. Ninguno de los modelos lo hizo tan bien como yo en 40 ejemplos. Pero cuando el artículo fue aceptado tres meses después, Gemini Pro 2.5 ya había salido al mercado y me superaba. Era una muestra muy pequeña, pero era increíble ver lo rápido que avanzaban las cosas.

Al principio de mi doctorado, no escribía ninguna indicación. Eso era algo inaudito. Ahora mi madre utiliza LLM en su trabajo; antes nunca sabía en qué trabajaba y ahora tiene acceso a LLM empresarial.

Katherine defendiendo su tesis doctoral

¿En qué crees que se diferencia la lectura de los LLM de la de los humanos?

La diferencia más evidente es la velocidad: Gemini responde en 30 segundos, mientras que yo tardaba una media de 12 minutos por ejemplo. Cuando revisaba mis errores, a menudo simplemente no recordaba frases concretas de novelas de entre 200 y 400 páginas, mientras que el modelo tenía una memoria perfecta.

Creo que los LLM procesan el texto token por token de una manera similar a la lectura atenta en el análisis literario, en la que se desglosa el texto a nivel de palabras. Pero cuando los humanos leemos 400 páginas, no todas las palabras se registran como unidades distintas en nuestro cerebro, como podría ocurrir con los modelos.

El reto de la evaluación

¿Por qué es tan difícil diseñar buenas evaluaciones y por qué existe tanta diferencia entre las evaluaciones actuales y lo que la gente experimenta realmente con estos modelos?

Es la tensión entre querer escalar rápidamente las evaluaciones con evaluaciones automáticas y la necesidad de contar con evaluaciones humanas detalladas realizadas por expertos. Gran parte de mi trabajo se ha centrado en invertir en la contratación de expertos reales. Para la traducción automática de literatura, contratamos a traductores literarios con doctorados en literatura comparada. Sus conocimientos eran claramente diferentes de los que se obtienen de los trabajadores de Mechanical Turk, incluso para pruebas A/B sencillas.

La otra cara de la moneda es el coste que supone crear evaluaciones. El año pasado ayudé a elaborar un punto de referencia para los agentes, en el que creamos preguntas manualmente y evaluamos a todos los agentes a mano. Probablemente me pasé todo el mes de marzo viendo cómo el operador de OpenAI hacía clic y buscaba cosas. Nos llevó mucho tiempo revisar incluso entre 100 y 150 ejemplos, pero aprendimos mucho al observar con nuestros propios ojos lo que hacían los agentes.

Existe una tensión constante entre el deseo de ampliar las evaluaciones y la necesidad de realizar evaluaciones humanas más lentas y detalladas.

Desarrollo de la detección de IA en Pangram

¿En qué estás trabajando en Pangram?

Estoy trabajando en un modelo que puede detectar cuán extendida está la IA en un texto. Sabemos que las personas no solo generan texto con IA, sino que a menudo traen textos que han escrito y le piden a la IA que los edite. Estas ediciones van desde pequeñas correcciones gramaticales hasta reestructuraciones importantes o paráfrasis completas.

Queremos medir ese efecto porque podemos considerar la escala que va desde el texto escrito por humanos hasta el texto escrito íntegramente por IA como un espectro, con el texto editado por IA en algún punto intermedio. Estamos entrenando un modelo para identificar en qué punto de ese espectro podría situarse un texto.

Esto es realmente importante para nuestros clientes del sector educativo, pero hemos recibido interés de muchos otros, ya que los LLM ahora están integrados en editores de texto como Google Docs. La gente quiere saber hasta qué punto la IA ha intervenido en un texto: qué ediciones podrían ser «perdonables» y cuáles suponen una carga cognitiva significativa para el usuario.

Katherine y el equipo trabajando hasta tarde en un trabajo de investigación.

¿Por qué decidiste unirte a Pangram como investigador fundador?

Me encanta el equipo que hay aquí. Bradley y Max realmente lo han bordado con el equipo fundador. Paso el 90 % de mi tiempo con la gente de Pangram, pero sinceramente no lo cambiaría por nada, ¡como demuestra el hecho de que haya estado haciendo ejercicio con todos durante los últimos 10 días!

Es muy agradable tener un espacio de oficina al que acudir. Durante un tiempo fui estudiante de doctorado a distancia, y es divertido tener un espacio en el que todos trabajan con un objetivo similar. Empecé mi doctorado justo después de terminar la carrera, durante el primer año de la COVID, así que fue totalmente a distancia, sin ningún sitio al que acudir. Nunca he trabajado en una oficina ni he tenido un «trabajo normal».

Bradley es una de las personas más inteligentes con las que he trabajado, y no exagero. Siento que he aprendido mucho y que estoy adquiriendo experiencia práctica en cosas que no pude hacer durante mi doctorado. Cuando aparecieron los LLM, todo el mundo quería investigar sobre ellos y nos olvidamos del modelado. No tenía sentido intentar entrenar tu propio modelo para estar a la altura de los grandes laboratorios, así que no había hecho mucho modelado aparte de ajustes.

Ha sido genial aprender habilidades prácticas. No soy un buen ingeniero de software porque soy investigador, así que ha sido divertido. ¡Elyas me ha ayudado hoy durante media hora a solucionar problemas de GitHub! Y poder trabajar con gente inteligente, investigar y estar en Brooklyn... Es un lugar estupendo y me encanta la costa este.

Un escéptico de la IA en la investigación sobre IA

Eres más escéptico que optimista con respecto a la IA y no la integras mucho en tu vida cotidiana. ¿En qué se basa este escepticismo?

Dos cosas. A pequeña escala, soy el único de mis amigos cercanos de la universidad que se dedicó a la investigación en informática. Los demás son actuarios y no sabían nada sobre el modelado del lenguaje cuando salió al mercado. Empezaron a oír hablar de ChatGPT cuando Instagram añadió la IA a las barras de búsqueda y a las funciones de chat. Durante mucho tiempo, yo era el único que conocía estas tecnologías, pero mis amigos parecían vivir perfectamente sin ellas. Me di cuenta de cuántas cosas relacionadas con la IA ocupaban mi mente sin que ellos, ajenos a todo ello, se dieran cuenta, pero les iba perfectamente bien.

Estaba en esta cámara de eco de gente que o bien eran pesimistas con respecto a la IA o bien estaban realmente entusiasmados con los LLM, pero eso no es de lo que habla el 95 % de la gente.

A nivel filosófico, a través de mi trayectoria como escritora —aprendiendo que no quiero escribir, pero que me encanta analizar—, me di cuenta de que solo valoro los textos que provienen de seres humanos. No me importa lo que escriban los LLM ni si pueden realizar tareas de análisis literario, porque creo que la capacidad de hacer estas cosas es valiosa para los seres humanos. Es una habilidad que los seres humanos pueden tener, pero no creo que signifique nada si un LLM la tiene.

Escribir es una tarea muy humana, y valoro mucho que haya habido un humano detrás. Eso me ha convertido en un mal detector de textos generados por IA, ¡porque simplemente no leo textos generados por IA!

La vida fuera del trabajo

¿Qué te gusta hacer para divertirte fuera del trabajo?

Me encanta pasear a mis perros por Brooklyn. Tengo dos perros y a uno de ellos le gustan mucho los paseos largos. Me gusta hacer ejercicio, leer novelas y me gusta mucho tejer y hacer ganchillo.

Te has propuesto como objetivo para este verano entrenar con todos los miembros del equipo Pangram. ¿Cuál ha sido tu entrenamiento favorito hasta ahora?

Creo que escalar con Lu, ¡lo cual es genial porque estamos a punto de volver a hacerlo en 45 minutos! La escalada es muy social porque te tomas descansos entre intento e intento, así que charlas y pasas el rato.

He practicado kickboxing, que es un deporte de alta intensidad durante todo el tiempo con sacos individuales, por lo que no es tan orientado al trabajo en equipo. Y hice otro entrenamiento con nuestros fundadores que fue un caos durante toda la hora: ¡no había oportunidad de hablar, solo intentábamos sobrevivir! La moral estaba alta en algunos momentos, aunque quizá baja para Max en otros. Fue una gran experiencia para fortalecer los lazos del equipo, pero la escalada gana por ser la actividad más social.

Consejos para aspirantes a investigadores

¿Qué consejo le darías a alguien que quiere dedicarse a la investigación en ML?

Dos cosas principales: no intentes hacer proyectos por tu cuenta. Algunos estudiantes de doctorado novatos caen en esta trampa, pero es necesario colaborar con personas con más experiencia que tú. Si es tu primer proyecto, sinceramente, no pasa nada si hacen cosas que te sorprenden y te impresionan: aprenderás mucho trabajando con personas muy inteligentes.

En segundo lugar, tienes que probar estas cosas por ti mismo y salir de tu zona de confort. Yo aprendí Python solo porque decidí utilizarlo como único lenguaje durante un verano para un proyecto de investigación. Sé muy práctico con todo, incluidas las matemáticas: ¡escribe las derivadas a mano!

De hecho, hace seis meses me volví adicto a Math Academy, lo cual fue una locura, pero increíble para volver a los fundamentos matemáticos.

Katherine en Pangram

Katherine acaba de terminar su doctorado en Informática en la Universidad de Massachusetts Amherst y se incorporará a Pangram Labs a tiempo completo como nuestra primera investigadora científica fundadora. Cuando no está entrenando modelos de detección de IA o analizando literatura con modelos lingüísticos, la puedes encontrar paseando a sus perros por Brooklyn o planificando el próximo entrenamiento del equipo.