Empleada destacada: Conoce a Katherine, investigadora en inteligencia artificial

Empleada destacada: Katherine Thai

¡Bienvenidos a nuestra segunda entrega de «Empleados destacados»! Nos hemos reunido con Katherine Thai, nuestra investigadora científica fundadora especializada en IA, para hablar sobre su singular trayectoria en el campo del procesamiento del lenguaje natural (NLP), su investigación sobre análisis literario y en qué está trabajando actualmente en Pangram Labs. (Nota: esta entrevista ha sido transcrita y ligeramente editada por IA para facilitar su lectura).

De las matemáticas y el inglés a la investigación en PLN

¿Cómo te interesaste por la PNL y decidiste hacer un doctorado?

Al principio, la PNL no me interesó directamente. En la carrera estudié matemáticas, informática e inglés, y participé en muchos programas de investigación para estudiantes universitarios porque me encantaba la idea de investigar y experimentar, pero no sabía exactamente qué quería estudiar.

Cuando se acercaba mi último año de carrera, un compañero me sugirió que mi titulación en Filología Inglesa se prestaba al estudio del PLN, ya que se trata de la aplicación de la informática al texto. Nunca había oído hablar mucho de ello: en mi universidad no había investigadores ni cursos sobre PLN.

Al final encontré a mi actual director de tesis, Mohit Iyyer, que estaba investigando sobre la comprensión narrativa de relatos largos y libros. Esto me intrigó mucho porque me encantan los libros y había escrito una tesis de grado titulada «Mecanismos narrativos de la frustración». Cuando presenté mi solicitud, mi director pensó que se trataba de mecanismos técnicos de informática, pero no era así: ¡era simplemente mi forma de describir lo que ocurría en la literatura! Le pareció que mi trayectoria era interesante y pensó que mis conocimientos de matemáticas me ayudarían a asimilar los fundamentos. Literalmente, cursé mi primera asignatura de PLN durante mi primer semestre de doctorado.

Estudiar literatura con la IA

Cuéntanos sobre tu investigación de doctorado.

Mi tesis se titula «Modos de colaboración entre humanos e IA en el ámbito del texto: puntos de referencia, métricas y tareas interpretativas». Me interesa comprender cómo los modelos lingüísticos pueden interpretar el texto y extraer conclusiones más profundas que las que podría obtener un investigador de humanidades, en lugar de limitarse a los atributos superficiales.

Los primeros trabajos de PLN aplicados a la literatura se centraban en extraer entidades nombradas de los libros, trazar las interacciones entre los personajes y crear esquemas generales de la trama. A mí me interesan mucho más los temas generales que se repiten a lo largo de los textos, cómo las motivaciones de los personajes influyen en sus decisiones y cómo se sitúan los textos en el contexto más amplio de cuándo y dónde los escribió el autor.

Me centro principalmente en esto como un problema de evaluación: ver si los modelos de lenguaje son capaces de extraer estas ideas de nivel superior de los textos literarios.

¿Cómo fue estudiar análisis literario con la IA, teniendo en cuenta que ChatGPT apareció mientras realizabas tu doctorado?

Tengo una historia increíble al respecto. En mi primer trabajo de doctorado propuse una tarea denominada «recuperación de pruebas literarias». Los estudiosos siempre citan fragmentos de textos originales en sus análisis, así que tomamos párrafos en los que estudiosos de las humanidades analizaban *El gran Gatsby*, ocultamos las citas de la novela y pedimos a los modelos de lenguaje que recuperaran esas citas.

En mi primer trabajo utilicé un pequeño motor de búsqueda denso basado en RoBERTa porque no podíamos incluir novelas completas en los modelos de lenguaje. Literalmente, escribí en la sección de justificación que necesitábamos este enfoque porque no podíamos incluir novelas completas en el contexto.

Cinco años después, en mi trabajo más reciente retomé esta tarea utilizando modelos de lenguaje a gran escala capaces de procesar novelas completas. En febrero, probé la tarea por primera vez: me llevó ocho horas con ejemplares físicos de los libros. Ninguno de los modelos lo hizo tan bien como yo en 40 ejemplos. Pero cuando el artículo fue aceptado tres meses después, Gemini Pro 2.5 ya había salido al mercado y me había superado. Era una muestra muy pequeña, pero fue una locura ver lo rápido que avanzaban las cosas.

Al principio de mi doctorado, no escribía ninguna solicitud. Eso era algo inaudito. Ahora mi madre utiliza modelos de lenguaje grande (LLM) en su trabajo: antes nunca sabía en qué trabajaba y ahora tiene acceso a un LLM corporativo.

Katherine defendiendo su tesis doctoral

¿En qué crees que se diferencia la forma de leer de los modelos de lenguaje grande (LLM) de la de los humanos?

La diferencia más evidente es la rapidez: Gemini responde en 30 segundos, mientras que yo tardaba una media de 12 minutos por ejemplo. Al revisar mis errores, a menudo simplemente no recordaba frases concretas de novelas de entre 200 y 400 páginas, mientras que el modelo las recordaba a la perfección.

Creo que los modelos de lenguaje grande (LLM) procesan el texto token a token, de una forma similar a la lectura atenta que se realiza en el análisis literario, en la que se desglosa el texto a nivel de palabra. Pero cuando los humanos leemos 400 páginas, no todas las palabras se registran en nuestro cerebro como unidades diferenciadas, tal y como podría ocurrir con los modelos.

El reto de la evaluación

¿Por qué resulta tan complicado diseñar buenas evaluaciones y por qué existe tal diferencia entre las evaluaciones actuales y lo que la gente experimenta realmente con estos modelos?

Se trata de la tensión entre el deseo de ampliar rápidamente las evaluaciones mediante la evaluación automática y la necesidad de contar con una evaluación minuciosa realizada por expertos humanos. Gran parte de mi trabajo se ha centrado en invertir en la contratación de auténticos expertos. Para la traducción automática de obras literarias, contratamos a traductores literarios con doctorados en literatura comparada. Sus aportaciones eran claramente diferentes de las que se obtienen de los colaboradores de Mechanical Turk, incluso en el caso de simples pruebas A/B.

La otra cara de la moneda es el coste que supone elaborar las evaluaciones. El año pasado participé en la elaboración de una prueba de referencia para agentes, en la que creamos las preguntas manualmente y evaluamos a todos los agentes a mano. Probablemente me pasé todo el mes de marzo observando cómo el operador de OpenAI hacía clic aquí y allá y buscaba cosas. Nos llevó muchísimo tiempo revisar incluso entre 100 y 150 ejemplos, pero aprendimos muchísimo al poder ver con nuestros propios ojos lo que hacían los agentes.

Existe una tensión constante entre el deseo de ampliar las evaluaciones y la necesidad de contar con evaluaciones humanas más lentas y minuciosas.

Desarrollo de la detección mediante IA en Pangram

¿En qué estás trabajando en Pangram?

Estoy trabajando en un modelo capaz de detectar hasta qué punto se ha utilizado la IA en un texto. Sabemos que la gente no solo genera texto con la IA, sino que a menudo le proporcionan un texto que ellos mismos han escrito y le piden a la IA que lo edite. Estas modificaciones van desde pequeñas correcciones gramaticales hasta reestructuraciones importantes o paráfrasis completas.

Queremos medir ese efecto porque podemos considerar la escala que va desde los textos escritos íntegramente por personas hasta los escritos íntegramente por IA como un espectro, en el que los textos editados por IA se sitúan en algún punto intermedio. Estamos entrenando un modelo para identificar en qué punto de ese espectro podría situarse un texto.

Esto es realmente importante para nuestros clientes del sector educativo, pero hemos recibido muestras de interés de muchos otros usuarios, ya que los modelos de lenguaje grande (LLM) se han integrado ahora en editores de texto como Google Docs. La gente quiere saber hasta qué punto la IA ha intervenido en un texto: qué modificaciones podrían considerarse «perdonables» y cuáles, en cambio, alivian significativamente la carga cognitiva del usuario.

Katherine y el equipo están trabajando hasta tarde en un artículo de investigación

¿Por qué decidiste unirte a Pangram como investigador fundador?

Me encanta el equipo que hay aquí. Bradley y Max realmente lo han clavado con el equipo fundador. Paso el 90 % de mi tiempo con la gente de Pangram, pero, sinceramente, no lo cambiaría por nada: ¡como demuestra el hecho de que haya estado haciendo ejercicio con todos ellos durante los últimos diez días!

Es genial tener un espacio de oficina al que acudir. Durante un tiempo fui estudiante de doctorado a distancia, y es divertido tener un espacio donde todos trabajamos con un objetivo común. Empecé el doctorado justo después de terminar la carrera, durante el primer año de la pandemia, así que todo fue a distancia y no tenía ningún sitio al que ir. Nunca había trabajado en una oficina ni había tenido un «trabajo normal».

Bradley es una de las personas más inteligentes con las que he trabajado nunca; ni siquiera es una exageración. Siento que he aprendido muchísimo y estoy adquiriendo experiencia práctica en cosas que no pude hacer durante mi doctorado. Cuando aparecieron los LLM, todo el mundo quería investigar sobre ellos y nos olvidamos del modelado. No tenía sentido intentar entrenar tu propio modelo para estar a la altura de los grandes laboratorios, así que no había hecho mucho modelado aparte del ajuste fino.

Ha sido genial adquirir conocimientos prácticos. No soy un buen ingeniero de software porque soy investigador, así que ha sido divertido. ¡Elyas me ha estado ayudando hoy durante media hora a resolver incidencias en GitHub! Y poder trabajar con gente inteligente, dedicarme a la investigación y estar en Brooklyn... Es un lugar fantástico y me encanta la costa este.

Un escéptico de la IA en la investigación sobre IA

Eres más escéptico que optimista en lo que respecta a la IA y no la incorporas mucho a tu vida cotidiana. ¿En qué se basa ese escepticismo?

Dos cosas. A pequeña escala, soy el único de mis amigos íntimos de la universidad que se dedicó a la investigación en informática. Los demás son actuarios y no sabían nada sobre el modelado del lenguaje cuando apareció. Empezaron a oír hablar de ChatGPT cuando Instagram incorporó la IA a las barras de búsqueda y a las funciones de chat. Durante mucho tiempo, yo era el único que conocía estas tecnologías, pero a mis amigos parecía no importarles vivir sin ellas. Me di cuenta de cuántas cosas relacionadas con la IA ocupaban mi mente sin que yo me diera cuenta, mientras ellos vivían felizmente ajenos a todo ello, pero les iba de maravilla.

Me encontraba en ese círculo cerrado de gente que o bien se mostraba catastrofista con respecto a la IA o bien alababa sin medida los modelos de lenguaje grande (LLM), pero eso no es de lo que habla el 95 % de la gente.

Desde un punto de vista filosófico, a lo largo de mi trayectoria como escritora —al darme cuenta de que no quiero escribir, pero me encanta analizar—, me he dado cuenta de que solo valoro los textos que provienen de seres humanos. No me importa lo que escriban los modelos de lenguaje grande (LLM) ni si son capaces de realizar tareas de análisis literario, porque creo que la capacidad de hacer estas cosas es valiosa para los seres humanos. Es una habilidad que los seres humanos pueden tener, pero no creo que signifique nada si un modelo de lenguaje grande la posee.

Escribir es una tarea muy humana, y valoro mucho que haya un ser humano detrás. ¡Eso me ha convertido en un mal detector de textos generados por IA, porque simplemente no leo ese tipo de textos!

La vida fuera del trabajo

¿Qué te gusta hacer en tu tiempo libre, aparte del trabajo?

Me encanta pasear a mis perros por Brooklyn; tengo dos perros y a uno de ellos le encantan los paseos largos. Me gusta hacer ejercicio, leer novelas y me apasiona tejer y hacer ganchillo.

Te has propuesto como objetivo para este verano entrenar con todo el equipo de Pangram. ¿Cuál ha sido tu entrenamiento favorito hasta ahora?

Creo que escalar con Lu, ¡lo cual es genial porque estamos a punto de volver a hacerlo dentro de 45 minutos! La escalada es una actividad muy sociable porque te tomas descansos entre intento e intento, así que charlas y pasas el rato.

He practicado kickboxing, que es un deporte de alta intensidad durante toda la sesión con sacos individuales, así que no es tan orientado al trabajo en equipo. Y también hice otro entrenamiento con nuestros fundadores que fue un caos durante toda la hora: ¡no había tiempo para hablar, solo intentábamos sobrevivir! La moral estaba por las nubes en algunos momentos, aunque quizá a Max se le cayera un poco en otros. Fue una experiencia fantástica para estrechar lazos en el equipo, pero la escalada se lleva la palma por ser la actividad más social.

Consejos para futuros investigadores

¿Qué consejo le darías a alguien que quiera iniciarse en la investigación sobre el aprendizaje automático?

Dos cosas importantes: no intentes llevar a cabo los proyectos tú solo. Algunos estudiantes de doctorado novatos caen en esta trampa, pero es necesario que colabores con personas con más experiencia que tú. Si es tu primer proyecto, sinceramente, no pasa nada si hacen cosas que te sorprenden y te impresionan: aprenderás muchísimo trabajando con gente muy inteligente.

En segundo lugar, tienes que probar estas cosas por ti mismo y salir de tu zona de confort. Yo aprendí Python simplemente porque decidí utilizarlo como único lenguaje durante un verano para un proyecto de investigación. Sé muy práctico en todo, incluidas las matemáticas: ¡escribe las derivadas a mano!

La verdad es que hace seis meses me enganché a Math Academy, lo cual fue una locura, pero me vino de maravilla para volver a repasar los fundamentos matemáticos.

Katherine en Pangram

Katherine acaba de terminar su doctorado en Informática en la Universidad de Massachusetts Amherst y se incorporará a tiempo completo a Pangram Labs como nuestra primera investigadora científica fundadora. Cuando no está entrenando modelos de detección de IA o analizando la literatura con modelos lingüísticos, la puedes encontrar paseando a sus perros por Brooklyn o planificando el próximo entrenamiento del equipo.