Un estudio independiente demuestra que Pangram es el detector de IA más eficaz

Un estudio independiente demuestra que Pangram es el detector de IA más eficaz

Investigadores de la Universidad de Houston, la Universidad de California en Berkeley, la Universidad de California en Irvine y la empresa emergente Esperanto AI han descubierto que Pangram es el detector de texto basado en IA más fiable de entre una amplia variedad de métodos, tanto comerciales como de código abierto. En el artículo, titulado «Esperanto: Evaluación de frases sintetizadas para mejorar la fiabilidad en la detección por IA del origen del texto», los investigadores estudiaron los efectos de la traducción lingüística en la capacidad de los detectores de IA.

Cómo burlar los detectores de IA mediante el uso de traductores

Es un truco conocido para burlar la detección de IA: pasar un texto generado por IA por el Traductor de Google a un idioma extranjero y luego volver a traducirlo al inglés puede ayudar a un atacante (o simplemente a un estudiante ingenioso con poco tiempo) a eludir los programas de detección de IA. En Pangram, llamamos internamente a este ataque «doble traducción», y los investigadores se refieren a él como «retrotraducción». He aquí un ejemplo de doble traducción. Le pedimos a ChatGPT que escriba un texto para nosotros. Primero traducimos el texto al japonés y, a continuación, lo volvemos a traducir al inglés. Observamos que algunas de las frases han cambiado debido a que el software de traducción no es perfecto y, a menudo, hay múltiples formas de decir lo mismo. Esto tiene un efecto similar al que produce una herramienta de parafraseo como Quillbot.

Texto generado por ChatGPT Texto traducido dos veces Un ejemplo de traducción doble

Muchos de nuestros competidores no son resistentes a este tipo de ataque. Arriba se muestra uno de los detectores de IA de la competencia más habituales en el mercado. Observamos que el modelo es capaz de detectar la IA directamente en ChatGPT, pero una vez sometida a una doble traducción, solo predice un 15 % de IA.

Resultados de GPTZero Una popular herramienta de la competencia clasifica correctamente el texto original generado por IA, pero clasifica erróneamente el texto traducido dos veces como escrito por un humano.

Sin embargo, Pangram es capaz de determinar que tanto el texto original de ChatGPT como el texto traducido dos veces son, en un 99,99 %, obra de la IA. No solo podemos determinar que se trata de un texto generado por IA, sino que también podemos afirmar con certeza que la fuente original fue GPT-4. Los investigadores se propusieron estudiar este fenómeno en términos generales y a gran escala.

Resultados del pangram Pangram identifica correctamente tanto el texto original como el doblemente traducido como generado por IA.

Estudio del efecto de la retraducción en 720 000 documentos

Un solo ejemplo no basta para demostrar que nuestro detector es fiable y que los demás no lo son. En el estudio, los investigadores recopilaron miles de artículos de prensa, resúmenes de artículos científicos, publicaciones de Reddit y reseñas de productos de los que se había confirmado que habían sido escritos por personas. A continuación, generaron varios ejemplos de IA utilizando GPT-3.5-Turbo, LLaMA 3, Mistral, Phi3 y Yi.

En general, incluso antes de recurrir a un ataque de traducción, muchos de los métodos de código abierto y los detectores comerciales resultan, de hecho, totalmente ineficaces.

En primer lugar, se eligió un umbral: esto significa seleccionar el porcentaje de corte por encima del cual consideraríamos que un documento es de IA. La mayoría de los detectores de IA ofrecen un porcentaje como resultado final. Para que todos los detectores puedan compararse en igualdad de condiciones, los umbrales se eligieron de tal forma que cada modelo tuviera una tasa de falsos positivos del 1 %. A continuación, la precisión del detector puede compararse como la fracción de verdaderos positivos: ¿cuántos ejemplos de IA es capaz de detectar cada detector con ese umbral?

Muchos de los demás métodos analizados en el artículo no logran detectar en absoluto el contenido generado por IA. Por ejemplo, ZeroGPT y GPTZero ni siquiera alcanzan una tasa de falsos positivos del 1 % con ningún umbral en algunos ámbitos, y artículos académicos muy citados como RADAR y LLMDet tienen una precisión inferior al 50 %.

El indicador propuesto para evaluar el rendimiento consiste en medir el TPR con un 1 % de FPR: es decir, dada una tasa de falsos positivos constante del 1 %, ¿con qué frecuencia es capaz el modelo de detectar texto generado por IA? ZeroGPT ni siquiera alcanza una tasa de falsos positivos del 1 % en ningún umbral en la mayoría de los ámbitos, y artículos académicos muy citados como RADAR y LLMDet obtienen resultados muy por debajo del 50 % en este indicador.

Por otra parte, Pangram alcanza una tasa de recuperación superior al 96 % en todos los ámbitos con un 1 % de tasa de falsos positivos, e incluso alcanza el 85 % en el exigente conjunto de datos de reseñas, que contiene reseñas de tan solo 40-50 palabras (lo cual está muy por debajo del umbral de palabras recomendado para detectar la IA en entornos comerciales reales).

Tras un ataque de doble traducción, muchos de los detectores fallan por completo. GPTZero, por ejemplo, pasa del 97 % a solo el 42 % en el ámbito de las noticias y del 65 % al 9 % en el ámbito de las reseñas. Los investigadores concluyen: «Los resultados de GPTZero y ZeroGPT indican una falta de solidez frente a las técnicas de retraducción... Pangram muestra cierto grado de solidez, especialmente en textos más largos».

A continuación se recogen los resultados completos. Pangram muestra un rendimiento superior en todas las categorías.

Tabla de resultados que compara detectores de IA Tabla de resultados del artículo sobre esperanto que muestra la solidez de Pangram.

Conclusión

Esta investigación respalda aún más nuestra afirmación de que Pangram es el único software de detección de IA disponible actualmente en el mercado que funciona con la fiabilidad suficiente como para utilizarse en entornos académicos y comerciales, y que no puede eludirse mediante trucos como la doble traducción.

Esto no es ni un accidente ni una coincidencia. La solidez de Pangram es prueba de un modelo potente que sabe cómo generalizar y que se sustenta en grandes conjuntos de datos y en nuestro enfoque de aprendizaje activo específico. Aunque cualquiera puede crear una herramienta de detección basada en IA que funcione en algunos casos o incluso en la mayoría de ellos, nuestro enfoque escalable es la única forma de lograr una precisión fiable y constante que no se vea completamente comprometida cuando se modifica o altera el texto.

Trabajamos constantemente para mejorar el rendimiento y la solidez de nuestro modelo de detección basado en IA. Nos mantenemos al día de las últimas investigaciones en materia de aprendizaje automático adversarial y sometemos continuamente nuestro propio modelo a pruebas para detectar posibles ataques y formas de eludirlo.

¡Pronto habrá más información sobre este tema!