Por qué la perplejidad y la irregularidad no permiten detectar la IA

Cuando buscas en Internet cómo funcionan los detectores de IA, suele aparecer mucha información que menciona los términos «perplexidad» y «ráfagas». ¿Qué significan estos términos y por qué, en última instancia, no sirven para detectar contenidos generados por IA? Hoy quiero analizar qué son la perplexidad y las ráfagas, y explicar por qué no son adecuados para detectar textos generados por IA. También analizaremos por qué no funcionan, por qué los detectores basados en la perplejidad y la irregularidad identifican erróneamente la Declaración de Independencia como generada por IA, y por qué estos detectores también tienen un sesgo contra los hablantes no nativos de inglés. ¡Vamos allá!

¿Qué son la perplejidad y la irregularidad?

Empezaremos con una definición poco precisa y no técnica de la perplejidad, solo para hacernos una idea general de qué es y cómo funciona. Si quieres saber más sobre la perplejidad, este artículo explicativo de dos minutos me ha parecido muy útil.

La perplejidad es el grado de lo inesperado o sorprendente que resulta cada palabra de un texto, cuando se analiza desde la perspectiva de un modelo lingüístico concreto o LLM.

Por ejemplo, aquí hay dos frases. Centrémonos en la última palabra de cada frase, a modo de ejemplo. En el primer ejemplo, la última palabra tiene una perplejidad baja, mientras que en el segundo ejemplo, la última palabra tiene una perplejidad alta.

Baja perplejidad:

Hoy, para comer, me he tomado un plato de *sopa*.

Alta perplejidad:

Hoy, para comer, me he tomado un plato de *arañas*.

La razón por la que la segunda frase presenta una alta perplejidad es que es muy poco probable que un modelo de lenguaje encuentre ejemplos de personas comiendo cuencos de arañas en su conjunto de datos de entrenamiento; por lo tanto, al modelo le resulta muy sorprendente que la frase termine con «arañas», en lugar de con algo como «sopa», «un sándwich» o «una ensalada».

La palabra «perplexidad» proviene de la misma raíz que «perplejo», que significa «confuso» o «desconcertado». Resulta útil pensar en la perplexidad como la confusión del modelo lingüístico: cuando este se encuentra con algo desconocido o inesperado, en comparación con lo que ha leído y asimilado durante su proceso de entrenamiento, podemos considerar que el modelo lingüístico se siente confundido o desconcertado ante lo que debe completar.

Vale, genial, ¿y qué hay de la «burstiness»? La «burstiness» es la variación de la perplejidad a lo largo de un documento. Si hay palabras y frases sorprendentes repartidas por todo el documento, diríamos que tiene un alto nivel de «burstiness».

¿Cómo funcionan los detectores basados en la perplejidad y la irregularidad?

Por desgracia, la mayoría de los detectores comerciales (excepto Pangram) no son transparentes en cuanto a su metodología, pero, a juzgar por lo que se desprende de sus descripciones, se considera que el texto escrito por humanos presenta una mayor complejidad y una mayor irregularidad que el texto generado por IA, mientras que este último tiene una menor probabilidad y una menor irregularidad.

¡A continuación podemos ver una representación de esto! Descargué el modelo GPT-2 de Huggingface y calculé la perplejidad de todo el texto de dos documentos: un conjunto de reseñas de restaurantes escritas por personas y otro conjunto de reseñas generadas por IA. A continuación, resalté en azul el texto con baja perplejidad y en rojo el texto con alta perplejidad.

Visualización de la complejidad que compara textos generados por IA y textos escritos por humanos

Como se puede ver, el texto generado por IA es de un azul intenso en su totalidad, lo que sugiere valores de perplejidad bajos y uniformes. Por su parte, el texto generado por humanos es mayoritariamente azul, pero presenta picos de color rojo. Eso es lo que llamaríamos un alto nivel de irregularidad.

Es esta idea la que ha dado lugar a los detectores de perplejidad y de ráfagas. No solo algunos de los primeros detectores de IA comerciales se basan en esta idea, sino que también ha inspirado trabajos académicos como DetectGPT y Binoculars.

Para ser totalmente justos, ¡estos detectores de perplejidad y ráfagas sí que funcionan en algunas ocasiones! Simplemente no creemos que puedan funcionar de forma fiable en entornos de alto riesgo en los que es imprescindible evitar imprecisiones, como en el aula, donde una detección errónea por parte de la IA podría socavar la confianza entre el profesor y el alumno o, lo que es peor, generar pruebas inexactas en un proceso judicial.

Deficiencia n.º 1: el texto del conjunto de entrenamiento se clasifica erróneamente como IA

Para quienes no estén familiarizados con el proceso de creación de los modelos de lenguaje grandes (LLM), antes de que estos puedan implementarse y utilizarse como chatbots, deben someterse a un procedimiento denominado «entrenamiento». Durante el entrenamiento, el modelo de lenguaje procesa miles de millones de textos y aprende los patrones lingüísticos subyacentes de lo que se conoce como su «conjunto de entrenamiento».

Los detalles mecánicos concretos del procedimiento de entrenamiento quedan fuera del alcance de esta entrada del blog, pero el aspecto fundamental es que, en el proceso de optimización, ¡el modelo de lenguaje grande (LLM) recibe un incentivo directo para minimizar la perplejidad en los documentos de su conjunto de entrenamiento! En otras palabras, el modelo aprende con el tiempo que los fragmentos de texto que ve repetidamente durante su entrenamiento deben tener la menor perplejidad posible.

¿Por qué es eso un problema?

Dado que se le pide al modelo que reduzca la perplejidad de los documentos del conjunto de entrenamiento, los detectores de perplejidad y de ráfagas clasifican documentos comunes del conjunto de entrenamiento como generados por IA, ¡incluso cuando en realidad han sido escritos por personas!

Por eso los detectores de IA basados en la perplejidad clasifican la Declaración de Independencia como generada por IA: dado que la Declaración de Independencia es un famoso documento histórico que se ha reproducido en innumerables libros de texto y artículos de Internet, aparece en los conjuntos de entrenamiento de la IA... muchísimas veces. Y como el texto es exactamente el mismo cada vez que se ve durante el entrenamiento, el modelo puede memorizar qué es la Declaración de Independencia cuando la ve y, a continuación, asignar automáticamente a todos los tokens una perplejidad muy baja, lo que también hace que la variabilidad sea realmente baja.

He aplicado la misma visualización anterior a la Declaración de Independencia, y observamos la misma firma de IA: un color azul intenso y uniforme en todo el texto, lo que indica que cada palabra presenta una baja perplejidad. Desde el punto de vista de un detector basado en la perplejidad y la irregularidad, la Declaración de Independencia es totalmente indistinguible del contenido generado por IA.

Curiosamente, observamos que la primera frase de la Declaración de Independencia es de un azul aún más intenso y presenta una menor perplejidad que el resto. Esto se debe a que la primera frase es, con diferencia, la parte más reproducida del texto y la que aparece con mayor frecuencia en el conjunto de entrenamiento de GPT-2.

Visualización de «Perplexity» de la Declaración de Independencia

Del mismo modo, observamos que otras fuentes habituales de datos de entrenamiento para modelos de lenguaje grandes (LLM) también presentan tasas elevadas de falsos positivos con los detectores de perplejidad y ráfagas. Wikipedia es un conjunto de datos de entrenamiento muy habitual debido a su alta calidad y a su licencia sin restricciones; por ello, es muy frecuente que se identifique erróneamente como contenido generado por IA, ya que los modelos de lenguaje están optimizados directamente para reducir la perplejidad en los artículos de Wikipedia.

Este problema se agrava a medida que la IA sigue desarrollándose y avanzando, ya que los modelos de lenguaje más recientes consumen una cantidad ingente de datos: los rastreadores de OpenAI, Google y Anthropic están rastreando Internet sin descanso mientras lees este artículo, y siguen recopilando datos para el entrenamiento de los modelos de lenguaje. ¿Deberían los editores y propietarios de sitios web preocuparse por el hecho de que permitir que estos rastreadores rastreen su sitio web para el entrenamiento de los LLM pueda significar que su contenido sea clasificado erróneamente como generado por IA en el futuro? ¿Deberían las empresas que estén considerando ceder sus datos bajo licencia a OpenAI sopesar el riesgo de que esos datos también acaben siendo mal interpretados como generados por IA una vez que los LLM los hayan procesado? Consideramos que se trata de un fallo totalmente inaceptable, y que se está agravando con el tiempo.

Deficiencia n.º 2: la perplejidad y la irregularidad varían según el modelo de lenguaje

Otro problema que plantea el uso de la perplejidad y la irregularidad como métricas de detección es que dependen de un modelo de lenguaje concreto. Lo que cabe esperar de GPT, por ejemplo, puede no ser lo mismo que de Claude. Además, cuando aparecen nuevos modelos, su perplejidad también varía.

Los denominados detectores de perplejidad de «caja negra» deben seleccionar un modelo de lenguaje para medir la perplejidad real. Sin embargo, cuando la perplejidad de ese modelo de lenguaje difiere de la del generador, se obtienen resultados tremendamente inexactos, y este problema no hace más que agravarse con el lanzamiento de nuevos modelos.

Deficiencia n.º 3: Los modelos comerciales no siempre ponen de manifiesto la perplejidad

Los proveedores de código cerrado no siempre facilitan las probabilidades de cada token, por lo que ni siquiera es posible calcular la perplejidad en modelos comerciales de código cerrado, como ChatGPT, Gemini y Claude. En el mejor de los casos, se puede utilizar un modelo de código abierto para medir la perplejidad, pero esto plantea los mismos problemas que la Limitación 2.

Deficiencia n.º 4: los textos redactados por hablantes no nativos de inglés (ESL) se clasifican erróneamente como generados por IA

Se ha extendido la idea de que la detección mediante IA es sesgada en contra de los hablantes no nativos de inglés, una tesis respaldada por un estudio de Stanford de 2023 realizado sobre 91 redacciones del TOEFL. Aunque Pangram analiza exhaustivamente textos en inglés no nativo y los incorpora a nuestro conjunto de entrenamiento para que el modelo sea capaz de reconocerlos y detectarlos, los detectores basados en la perplejidad presentan, efectivamente, una elevada tasa de falsos positivos en los textos en inglés no nativo.

La razón de esto es que los textos escritos por estudiantes de inglés suelen presentar una menor perplejidad y una menor irregularidad. Creemos que esto no es casual: se debe a que, durante el proceso de aprendizaje del idioma, el vocabulario del estudiante es considerablemente más limitado, y además el estudiante no es capaz de formar estructuras sintácticas complejas que resulten inusuales —o que tengan un alto grado de sorpresa— para un modelo lingüístico. Sostenemos que aprender a escribir con una alta perplejidad y de forma irregular, pero sin dejar de ser lingüísticamente correcto, es una habilidad lingüística avanzada que se adquiere con la experiencia en el idioma.

Los hablantes no nativos de inglés —y, por extensión, creemos que también los estudiantes con neurodiversidad o con discapacidad— son más propensos a ser detectados por los sistemas de IA basados en la perplejidad.

Deficiencia n.º 5: Los detectores basados en la perplejidad no pueden mejorarse a sí mismos de forma iterativa

Lo que consideramos que es el mayor inconveniente de los detectores basados en la perplejidad —y la razón por la que en Pangram optamos por un enfoque basado en el aprendizaje profundo— es que estos detectores no pueden mejorar por sí mismos a medida que aumentan los datos y la capacidad de cálculo.

¿Qué significa esto? A medida que Pangram adquiere más experiencia con textos escritos por humanos gracias a nuestro algoritmo de aprendizaje activo, va mejorando poco a poco. Así es como hemos conseguido reducir nuestra tasa de falsos positivos del 2 % al 1 %, al 0,1 % y, ahora, al 0,01 %. Los detectores basados en la perplejidad no son capaces de mejorar al procesar más datos.

Recursos y lecturas recomendadas

• «DetectGPT: Detección de texto generado por máquinas sin entrenamiento previo mediante la curvatura de probabilidad» es un artículo que analiza el panorama de la perplejidad local para distinguir entre la escritura humana y la generada por IA, en lugar de basarse en valores absolutos de perplejidad.

• «Detectar modelos de lenguaje grande (LLM) con prismáticos: detección sin entrenamiento previo de texto generado por máquinas» utiliza una métrica novedosa denominada «perplexidad cruzada» para mejorar la detección basada en la perplexidad básica.

• El informe técnico de Pangram analiza en profundidad nuestra solución alternativa para detectar textos generados por IA basada en el aprendizaje activo profundo.

Conclusión

Hay una gran diferencia entre calcular una estadística que se correlacione con los textos generados por IA y desarrollar un sistema apto para producción capaz de detectar de forma fiable los textos generados por IA. Aunque los detectores basados en la perplejidad captan una faceta importante de lo que hace que la escritura humana sea humana y lo que hace que la escritura generada por IA sea propia de la IA, por las razones descritas en este artículo, no es posible utilizar un detector basado en la perplejidad para detectar de forma fiable los textos generados por IA y, al mismo tiempo, mantener una tasa de falsos positivos lo suficientemente baja como para aplicaciones de producción.

En ámbitos como el de la educación, donde es fundamental evitar los falsos positivos, esperamos que las investigaciones se orienten cada vez más hacia métodos basados en el aprendizaje profundo y se alejen de la perplejidad y la irregularidad, o de los métodos basados en métricas.

Esperamos que esto ayude a comprender por qué Pangram ha decidido no utilizar la perplejidad y la irregularidad para detectar textos generados por IA, y centrarse en su lugar en métodos fiables y escalables.

Pangram utiliza el aprendizaje profundo en lugar de heurísticas estadísticas. Prueba nuestro detector de contenido basado en IA para obtener una precisión de nivel profesional.