¿Cómo funciona Pangram?

Creemos que es importante poder identificar de forma fiable los textos generados por IA, por lo que hemos creado un detector que lo hace. Dada la importancia de este tema, lo más prudente es ser transparentes sobre cómo funciona.

Cuando un autor escribe una frase, está tomando miles de decisiones, tanto conscientes como inconscientes, sobre cómo debe estar redactada. En esencia, la detección de IA es un problema de identificación del autor: clasificar qué decisiones son características de cada tipo de autor. Podemos hacerlo porque, aunque los modelos de lenguaje grande (LLM) como ChatGPT no son humanos, siguen siendo un único autor que toma decisiones. El tipo de decisiones que suelen tomar también está limitado: los modelos de asistencia deben generar textos útiles y claros para responder eficazmente a las preguntas. Estas preferencias quedan arraigadas en el modelo durante el entrenamiento y, una vez allí, es muy difícil evitar que salgan a la luz.

¿Qué es un pangrama?

Pangram es un tipo de red neuronal denominada «modelo clasificador». En su sentido más amplio, Pangram analiza un fragmento de texto y, utilizando un enorme conjunto de patrones aprendidos, estima si ha sido generado por IA.

Pangram aprende a distinguir entre la escritura humana y la generada por modelos de lenguaje grandes (LLM) creando una especie de mapa en el que los autores con estilos de escritura similares se sitúan cerca unos de otros, mientras que aquellos cuyos estilos difieren se sitúan más alejados. En este mapa, los textos escritos por humanos y los generados por IA forman grupos diferenciados, y nuestra investigación demuestra que Pangram es capaz incluso de ubicar los principales modelos de lenguaje comerciales, como ChatGPT y Claude, en regiones distintas.

Cuando Pangram se encuentra con un texto que nunca ha visto antes, determina dónde debe situarlo en el mapa comparándolo con el texto que ya conoce. Ningún aspecto concreto del texto determina su ubicación, por lo que un escritor humano no corre el riesgo de ser clasificado erróneamente simplemente porque ChatGPT haya adoptado uno de sus recursos favoritos, como el guion largo. Los «LLM-ismos» visibles son solo una señal entre los cientos de miles que Pangram tiene en cuenta.

Si las coordenadas resultantes se sitúan en una región propia de un texto escrito por humanos, Pangram predice que el texto es de origen humano; si se sitúan en una zona más ambigua, o si diferentes pasajes del mismo texto apuntan en direcciones distintas, Pangram empieza a sospechar que puede contener texto generado por IA. Por eso Pangram establece un número mínimo de palabras: cuantas más palabras, más precisas son las coordenadas. Este mismo enfoque también ayuda a Pangram a generalizar a las nuevas versiones de modelos de IA, que suelen heredar gran parte del estilo y la voz de sus predecesores y, por lo tanto, ocupan regiones muy similares del mapa.

Pangram es mejor que otros detectores de IA

Los intentos anteriores por detectar textos generados por IA han sido fracasos estrepitosos y públicos. Esto se debe a que intentaron aplicar ingeniería inversa al modo en que los grandes modelos de lenguaje producen texto. Tras cada palabra de una frase, estos detectores se preguntaban: «Si yo fuera un gran modelo de lenguaje, ¿qué palabra esperaría que viniera a continuación?».

Por ejemplo, ante un fragmento de frase como «Voy a llevar a mi perro a…», un modelo de IA podría considerar que «pasear» o «correr» son palabras muy probables para continuar, mientras que términos incongruentes como «presagio» o «verglas» no serían candidatos probables. Los primeros detectores intentaban reconstruir la clasificación de palabras probables de un LLM y compararla con la palabra que aparecía realmente; así, cuanto más a menudo el texto seguía la opción predecible, más probable era que el detector lo clasificara como generado por IA. En esencia, esto refleja el grado de perplejidad que experimentaría un LLM al encontrarse con una palabra a continuación en una frase, por lo que este método de detección de IA se denominó «análisis de perplejidad».

El análisis de la perplejidad presenta numerosos problemas. No es una buena medida de lo que pretende distinguir, ya que las frases humanas suelen estar tan «canalizadas» como la prosa generada por los modelos de lenguaje grande (LLM). Así pues, los detectores de perplejidad suelen marcar erróneamente como sospechosa la escritura humana predecible o estructurada, mientras que, al mismo tiempo, esos detectores se eluden fácilmente mediante estrategias obvias, como sustituir palabras por sinónimos menos comunes.

Como es bien sabido, los modelos de perplejidad también fallan con muchos textos anteriores a la llegada de los ordenadores. La detección basada en la perplejidad tiende a indicar que la Biblia, la Declaración de Independencia o el Frankenstein de Mary Shelley son generados al 100 % por IA. Esto ocurre porque los modelos de lenguaje grande (LLM) leen la Declaración de Independencia miles de veces durante su entrenamiento, por lo que cada palabra que aparece en ella resulta muy previsible desde la perspectiva del LLM. El detector malinterpreta esa probabilidad como una prueba de que el texto ha sido generado por IA.

Pangram evita esto porque no intenta desentrañar cómo genera texto un modelo de lenguaje grande (LLM). En lugar de fijarse en cada palabra y preguntarse «¿qué escribiría aquí un LLM?», Pangram analiza el texto en su conjunto y se pregunta «¿a quién se parece este estilo?». De este modo, el nivel de familiaridad de ChatGPT nunca podría llevar a Pangram a clasificar erróneamente documentos históricos como generados por IA, pero no todos los casos son tan sencillos.

Cómo entrenamos a Pangram

No es difícil entrenar un clasificador para que alcance una precisión del 98 %. La mayoría de los textos generados por IA son fáciles de reconocer, y una red neuronal puede aprender rápidamente los indicios más evidentes. Del mismo modo que casi cualquiera podría comparar un poema de E. E. Cummings con una cita de «Los hermanos Karamázov» y concluir que fueron escritos por autores diferentes, un clasificador básico puede distinguir sin dificultad una receta de pasta generada por IA de una entrada del diario de una persona. Pero en la detección de IA, una precisión del 98 % es terriblemente mala: una tasa de error del 2 % significaría clasificar erróneamente uno de cada 50 documentos, lo que pondría en duda cualquier predicción. Así que piénsalo: si fueras uno de los mejores en distinguir a Dostoievski (entre el 2 % superior), ¿qué estrategia utilizarías para situarte entre el 0,01 % superior?

A ese nivel, releer a Dostoievski genera directamente rendimientos decrecientes: para cerrar la brecha hay que encontrar las características que nadie, salvo Dostoievski, podría producir. Una buena estrategia podría ser contratar a unos cuantos imitadores profesionales para que escriban los clones de Dostoievski más convincentes posibles y estudiar las diferencias. Así es como entrenamos a Pangram: para cada elemento de nuestro conjunto de datos de textos escritos por humanos con licencia comercial, generamos un doble de IA que se acerque lo más posible a su fuente. Los dobles tienen la misma longitud, el mismo tono y el mismo tema, pero están generados por IA. A continuación, entrenamos el modelo de Pangram con esos pares de textos escritos por humanos y por IA.

Al aprender a distinguir entre esos pares, Pangram aumenta de forma efectiva la resolución de las zonas limítrofes en su mapa interno. Para asegurarnos de que el mapa de Pangram sea lo más preciso posible, somos extremadamente cuidadosos con el «envenenamiento de datos»: nuestro conjunto de datos de texto humano conocido procede de 2021 y años anteriores, antes de que la IA se extendiera por Internet. Esto funciona bien por ahora, pero somos conscientes de que tendremos que adaptarnos a medida que lo haga el lenguaje. Abordar de forma preventiva la deriva de los datos antes de que se convierta en un problema es una de nuestras principales prioridades de investigación.

¿Cómo sabemos que Pangram acierta?

Pangram es un modelo estadístico que realiza predicciones basándose únicamente en el texto, por lo que su precisión también debe evaluarse estadísticamente. Eso es precisamente lo que hacemos. Publicamos pruebas comparativas internas para cada modelo de Pangram que lanzamos, así como cada vez que un laboratorio de IA actualiza sus modelos de lenguaje a gran escala (LLM). Además, hemos sido sometidos a pruebas y verificados por terceros independientes, como equipos de la Universidad de Chicago y la Universidad de Maryland.

Si eres investigador —o si tienes una idea realmente buena y te comprometes a publicar tus resultados—, puedes solicitar una de nuestras subvenciones de crédito para la API y probar nuestros modelos por ti mismo. Siempre estamos buscando formas de mejorar.