Todo sobre los falsos positivos en los detectores de IA

Uno de los aspectos más importantes de nuestro trabajo en Pangram es minimizar nuestra tasa de falsos positivos. Esto significa reducir al máximo la probabilidad de que los textos escritos por personas se marquen como generados por IA. Hoy explicaremos las tasas de falsos positivos de Pangram en muchos tipos diferentes de textos, cómo medimos y evaluamos nuestros modelos para garantizar que la tasa de falsos positivos sea lo más baja posible y, por último, algunas de las técnicas que empleamos para crear software de detección de IA con la tasa de falsos positivos más baja del sector.

Puntos clave

• Un falso positivo se produce cuando un detector señala erróneamente un trabajo realizado por una persona como si hubiera sido generado por la IA. Este tipo de error es más grave en el caso de la detección de IA, ya que afirmar que el trabajo de alguien no es suyo puede dañar su reputación o su prestigio académico.
• Pangram se toma muy en serio tanto los falsos positivos como los falsos negativos, y cuenta con una tasa de falsos positivos líder en el sector de 1 por cada 10 000.
• Por ámbito, Pangram presenta una tasa de falsos positivos extremadamente baja en todos los casos de uso más habituales, como la escritura creativa (0,01 %), la redacción académica (0,02 %), la redacción biomédica (0,01 %) y los guiones cinematográficos (0 %).
• Pangram no funciona tan bien en algunos casos de uso más específicos, como la poesía o las recetas.

¿Qué es un falso positivo?

En el contexto de la detección de IA, se habla de «falso positivo» cuando un detector clasifica erróneamente una muestra generada por humanos como generada por IA. Por el contrario, se habla de «falso negativo» cuando una muestra generada por IA se clasifica erróneamente como generada por humanos.

Falsos positivos y falsos negativos en la detección mediante IA

El diagrama anterior ilustra los dos tipos de errores. Si el rojo representa la clase negativa y el verde la clase positiva, una «X» roja predicha como verde sería un falso positivo, y una «O» verde predicha como roja sería un falso negativo.

En estadística se utilizan los términos «error de tipo I » y «error de tipo II »: estos términos significan exactamente lo mismo. Un error de tipo I es un falso positivo, y un error de tipo II es un falso negativo. Los estadísticos, y en particular los que trabajan en ciencias médicas, también utilizan los términos «sensibilidad» y «especificidad» para distinguir estas dos tasas de error. Los científicos especializados en aprendizaje automático utilizan los términos «precisión» y «recuerdo». Aunque existen algunas ligeras diferencias técnicas entre estos términos, con fines didácticos, en este artículo nos ceñiremos simplemente a «falsos positivos» y «falsos negativos», ya que creo que son los términos más claros para referirse a estos dos tipos de errores.

En la detección de IA, un falso positivo es mucho peor que un falso negativo. Acusar repetidamente de plagio por IA a alumnos que redactan sus trabajos por sí mismos, sin ayuda de la IA, socava enormemente la confianza entre el alumno y el profesor, y puede provocar mucha ansiedad y estrés al alumno. Por otro lado, un falso negativo puede significar que, de vez en cuando, un alumno que hace trampa se salga con la suya, lo cual no es un resultado tan grave para una herramienta de detección de IA.

Cabe señalar que, en otros problemas de detección, un falso negativo puede causar mucho más daño que un falso positivo: por ejemplo, en una prueba de detección del cáncer es mucho mejor que la prueba indique erróneamente que el paciente tiene cáncer, que pasar por alto por completo un cáncer real del paciente. Si la prueba indica erróneamente que el paciente tiene cáncer, aunque pueda resultar molesto para el paciente tener que volver para realizar seguimientos, pruebas y exámenes adicionales, eso es mucho mejor que pasar por alto un diagnóstico de cáncer, lo cual supone una amenaza para la vida del paciente.

Volviendo al tema de la detección de IA, un falso positivo causa más daño que un falso negativo, pero ambos son importantes: pasar por alto sistemáticamente el texto generado por IA y predecir erróneamente que es humano también socava el valor de la herramienta. Por eso, en Pangram, nuestro enfoque general consiste en minimizar tanto los falsos negativos como los falsos positivos en la medida de lo posible, aunque damos mayor prioridad a los falsos positivos.

¿Cuál es la tasa de falsos positivos de Pangram?

¡La respuesta es que depende!

En general, calculamos que nuestra tasa de falsos positivos es de aproximadamente 1 de cada 10 000: a veces es un poco más alta, y otras un poco más baja, dependiendo del tipo de texto y de otras variables.

Medimos la tasa de falsos positivos de Pangram en una amplia variedad de textos: a estos los denominamos «dominios». Aunque no es una lista exhaustiva, a continuación se muestran las tasas de falsos positivos más actualizadas que medimos internamente en cada dominio:

¿Qué factores determinan la propensión de Pangram a generar falsos positivos?

En general, Pangram funciona mejor cuando se cumplen las siguientes condiciones:

• El texto es bastante largo (más de doscientas palabras)
• El texto está redactado en frases completas
• Este dominio está bien representado en los conjuntos de datos de entrenamiento habituales en línea
• El texto tiene un toque más creativo y es menos formulista

Creemos que estos factores son los que hacen que Pangram rinda mejor en ensayos, escritura creativa y reseñas. Aunque los artículos de prensa, los trabajos científicos y las entradas de Wikipedia son más formulistas y técnicos, la disponibilidad de datos es abundante en estos ámbitos, por lo que Pangram se ha vuelto muy hábil a la hora de reconocer incluso los patrones más sutiles en la escritura. Por último, ámbitos como las recetas y la poesía son los más débiles, ya que el texto suele ser breve, no está escrito en frases completas (lo que da al LLM menos oportunidades de inyectar su estilo idiosincrásico en el texto) y, en general, son menos frecuentes en Internet que los demás ámbitos.

En la práctica, ¿qué significa esto? Aunque Pangram sigue siendo relativamente fiable en todos los ámbitos, puedes confiar más en su precisión cuando el texto es extenso, está redactado en frases completas y requiere una mayor aportación original por parte del autor. Por este motivo, no recomendamos analizar elementos como listas breves con viñetas y esquemas, matemáticas, respuestas muy cortas (por ejemplo, frases sueltas) y textos extremadamente formulistas, como largas listas de datos, hojas de cálculo, textos basados en plantillas y manuales de instrucciones.

¿Cómo se compara la tasa de falsos positivos de Pangram con la de la competencia?

No podemos realizar la misma prueba comparativa exhaustiva con nuestros competidores, simplemente porque el coste que ello supondría sería extremadamente elevado. Sin embargo, podemos fijarnos en cuál es, según ellos, su tasa de falsos positivos.

Turnitin

La tasa de falsos positivos que Turnitin indica en su página web

El último informe técnico de Turnitin indica una tasa de falsos positivos del 0,51 % en los trabajos académicos, lo que equivale aproximadamente a 1 de cada 200, a nivel de documento. Esto significa que 1 de cada 200 trabajos presentados por los estudiantes será marcado erróneamente como generado por IA.

Nuestra tasa de falsos positivos, calculada a partir de un conjunto de datos similar compuesto por ensayos académicos, es del 0,004 %, lo que equivale a 1 de cada 25 000.

Se trata de una diferencia significativa. En una gran universidad dedicada a la investigación, pueden presentarse hasta 100 000 trabajos al año. Esta es la diferencia entre 500 falsos positivos en Turnitin y solo 4 en Pangram.

GPTZero

La tasa de falsos positivos que GPTZero indica en su página web

GPTZero afirma tener una tasa de falsos positivos del 1 %, lo que supone el doble que Turnitin y 250 veces más que Pangram.

Para garantizar una comparación imparcial, hemos comparado internamente GPTZero y Pangram utilizando un conjunto más reducido de documentos de nuestro conjunto VIP general. Hemos constatado que la tasa de falsos positivos es superior a la indicada, situándose en el 2,01 %.

Copyleaks

La tasa de falsos positivos que Copyleaks indica en su página web

Copyleaks afirma tener una tasa de falsos positivos del 0,2 %, es decir, 1 de cada 500, lo que, de ser cierto, sería 50 veces peor que Pangram.

Además, una cifra aislada como esta no lo dice todo. No sabemos de dónde proceden los datos ni qué posibles sesgos pueden haber existido en la evaluación. Por eso realizamos comparativas exhaustivas y publicamos este artículo en el que detallamos nuestro proceso de evaluación del modelo.

Prueba de rendimiento RAID

Al examinar el estudio sobre RAID publicado el año pasado por Liam Dugan y sus coautores —el estudio n.º 2 del artículo de resumen de investigaciones que publicamos—, nos gustaría llamar la atención sobre el siguiente gráfico.

Índices de falsos positivos del estudio RAID en los distintos detectores

La mayoría de los detectores establecen un «umbral», que es el porcentaje de confianza por el que, por encima de la línea, el modelo considera que el texto es generado por IA, y por debajo de la línea, el modelo considera que el texto es de autoría humana. Al ajustar el umbral, se puede encontrar un equilibrio entre los falsos positivos y los falsos negativos.

En este gráfico, el eje X representa la tasa de falsos positivos resultante del cambio del umbral, y el eje Y representa el recuperación: es decir, la proporción de documentos de IA que pueden clasificarse como IA cuando se evalúan con ese umbral.

En resumen, los detectores de nuestra competencia dejan de funcionar cuando se les obliga a mantener una tasa de falsos positivos inferior al 1 %; es decir, no serían capaces de detectar ningún caso de IA cuando el umbral es lo suficientemente bajo como para producir una tasa de falsos positivos del 1 %.

¿Cómo evaluamos la tasa de falsos positivos de Pangram?

Pangram se somete a un proceso de aprobación y pruebas extremadamente riguroso antes de que se permita la implementación de cualquier nuevo modelo en nuestro panel de control y nuestra API.

En nuestro proceso de control de calidad, contamos con tres tipos de pruebas para detectar falsos positivos, cada una de las cuales logra un equilibrio entre la evaluación cuantitativa y la cualitativa. Nuestras evaluaciones incluyen:

1. Conjuntos de validación a gran escala. Entre 10 000 y 10 000 000 de ejemplos por conjunto. Se trata de bases de datos de Internet de acceso libre y a gran escala anteriores a ChatGPT (2022), de las que hemos seleccionado un conjunto de validación que no se ha utilizado para el entrenamiento y que se ha reservado exclusivamente con fines de evaluación.

2. Conjuntos de datos VIP de tamaño medio. Aproximadamente 1.000 ejemplos por conjunto. Se trata de conjuntos de datos que ingenieros o etiquetadores han recopilado manualmente a partir de fuentes fiables, han revisado visualmente y han validado personalmente para confirmar que han sido redactados por personas. Aunque los expertos cualificados son capaces de detectar a simple vista el contenido generado por IA, en ocasiones cometen errores, por lo que auditamos y depuramos los datos periódicamente para garantizar su precisión.

3. Conjuntos de prueba. Aproximadamente entre 10 y 100 ejemplos por conjunto. Se trata de falsos positivos detectados anteriormente, casos difíciles que nos han enviado nuestros amigos y, en general, ejemplos interesantes con los que queremos comprobar nuestro rendimiento. También recopilamos ejemplos de textos poco habituales, como recetas, poesía, guiones de películas y otros formatos escritos que no están bien representados en los conjuntos de entrenamiento de los grandes modelos de lenguaje, y consideramos que estos también son conjuntos de desafío, así como un punto de referencia general para evaluar el rendimiento de nuestro modelo cuando se le somete a situaciones «fuera de distribución».

Además de estos tres tipos de control de calidad, también contamos con pruebas unitarias. Estas pruebas unitarias sirven, en términos coloquiales, para detectar en nuestro modelo lo que llamaríamos «fallos embarazosos». Nuestro conjunto actual de pruebas unitarias nos obliga a predecir el comportamiento humano en documentos como la Declaración de Independencia, fragmentos famosos de la literatura y los textos de nuestra propia página web y entradas de blog. Si falla siquiera una de estas pruebas unitarias, bloqueamos la implementación de un nuevo modelo y volvemos a empezar desde cero. Una de nuestras filosofías rectoras en materia de evaluación es estar muy atentos al seguimiento y la supervisión de estos «fallos embarazosos», para que nunca vuelvan a producirse cuando se lance un nuevo modelo.

Diagrama que muestra los tres tipos de conjuntos de evaluación utilizados en Pangram: conjuntos de validación a gran escala (más de 10 millones de ejemplos), conjuntos VIP a escala media (más de 1000 ejemplos) y conjuntos de desafío (entre 10 y 100 ejemplos)

Quienes tienen inclinaciones matemáticas y científicas podrían preguntarse: ¿por qué es necesaria la evaluación cualitativa? ¿No es siempre mejor contar con más muestras?

Mi respuesta a esto sería: más muestras no siempre es mejor. Como dijo una vez un sabio profeta, hay mentiras, malditas mentiras y estadísticas. Pero hablando en serio, creemos que cuando se crea un conjunto de datos a gran escala, siempre se acaba introduciendo algún tipo de sesgo. Y cuando se tiene un conjunto de datos tan grande que no se puede inspeccionar cada ejemplo, no se sabe si el modelo se ha sobreajustado a un sesgo en el conjunto de datos que hará que funcione bien en la prueba, pero mal en el mundo real. (Como nota al margen, creemos que esta es la razón por la que hay muchos detectores de IA en línea que anuncian una «precisión del 99 %», pero que ni siquiera se acercan a eso cuando realmente se prueban).

Un ejemplo curioso que ilustra la importancia de estos distintos tipos de conjuntos de pruebas tuvo lugar en los inicios de Pangram, cuando incorporamos por primera vez Wikipedia al conjunto de entrenamiento. Uno de nuestros primeros intentos fallidos acabó dando muy buenos resultados en el conjunto de validación, pero muy malos en el conjunto VIP, que consistía en artículos de Wikipedia recopilados manualmente. Lo que acabamos descubriendo fue que, en el conjunto de datos de Huggingface que estábamos utilizando, en la parte humana, la pronunciación de los nombres expresada en el Alfabeto Fonético Internacional se reformateaba de una manera realmente extraña a la que el modelo se estaba sobreajustando: simplemente miraba el formato del nombre y, a partir de ahí, concluía si el documento era de IA o humano. ¡Genial en el conjunto de validación, pero terrible en el mundo real cuando el modelo no disponía de esa pista concreta! De ahí la importancia de contar con un conjunto de prueba que refleje con precisión el tipo de texto que Pangram va a encontrar en el mundo real.

Antes de enviar un modelo a los clientes de Pangram, lo sometemos a un riguroso proceso de aprobación que incluye una evaluación tanto cuantitativa como cualitativa, en la que sometemos el modelo a pruebas de estrés y analizamos minuciosamente su rendimiento en comparación con el modelo actual.

1. Evaluación cuantitativa: significa que no deben incluirse en el análisis de regresión las métricas de la tasa de falsos positivos de todos los conjuntos de validación, conjuntos VIP y casos de prueba.

2. Evaluación cualitativa: en la mayoría de los casos, algunos ejemplos mejorarán y otros empeorarán. Siempre que sea posible, examinamos visualmente los ejemplos concretos que han empeorado y nos aseguramos de que los fallos sean explicables. A menudo, esto es matizado y específico de las hipótesis concretas que estamos probando, pero, en general, queremos asegurarnos de que los casos de fallo no muestren un patrón concreto que pueda generalizarse a fallos en el mundo real tras la implementación.

3. Prueba de usabilidad / red teaming: Por último, una vez completadas las evaluaciones cuantitativas y cualitativas, simplemente sometemos el modelo a una «prueba de usabilidad» enviándoselo al equipo y pidiéndoles que lo prueben durante un rato. En el caso de algunas actualizaciones, también podemos pedir a probadores internos o a clientes beta que prueben el modelo antes de lanzarlo al público (¡por lo general, les animamos a que intenten encontrar casos en los que el modelo falle!).

4. Pruebas A/B retroactivas: realizamos inferencias fuera de línea sobre nuestras predicciones anteriores y analizamos las diferencias entre el modelo antiguo y el nuevo. No siempre disponemos de los datos reales para los datos que hemos inferido anteriormente, pero, de nuevo, buscamos patrones consistentes que puedan reflejar casos de fallo en el mundo real.

En resumen, aunque somos extremadamente minuciosos y rigurosos a la hora de evaluar el rendimiento de nuestro modelo mediante métricas y estadísticas, no nos basamos únicamente en los números para obtener una visión completa. También confiamos en nuestra observación, intuición y capacidad para reconocer patrones a la hora de examinar el modelo y detectar patrones de error que nuestras métricas puedan haber pasado por alto. Asimismo, contamos con nuestro equipo de probadores, miembros del «equipo rojo» y clientes beta para detectar fallos que el equipo pueda haber pasado por alto.

¿Qué técnicas utilizamos para lograr una tasa de falsos positivos tan baja?

Mantener una tasa baja de falsos positivos es fundamental para nuestra misión investigadora. A continuación, se enumeran algunas de las técnicas que hemos utilizado hasta ahora para lograr la mejor tasa de error de su clase.

Amplia cobertura de datos de entrenamiento

Aunque los detectores de IA de la competencia puedan estar «diseñados para el ámbito académico, los centros educativos, las aulas y los docentes», lo que eso realmente podría significar es que su conjunto de datos de entrenamiento contiene únicamente textos académicos.

Por otro lado, creamos Pangram para aprovechar la «lección amarga»: que los algoritmos de aprendizaje general, entrenados con grandes volúmenes de datos procedentes de una amplia variedad de fuentes, son más eficaces que los modelos específicos entrenados con datos propios de un ámbito concreto.

Esto significa que entrenamos nuestro detector de IA con una amplia variedad de textos: creativos, técnicos, científicos, enciclopédicos, reseñas, sitios web, entradas de blog... y la lista sigue. El motivo es similar al de una formación en humanidades bien equilibrada: el contacto con numerosas disciplinas y estilos de redacción ayuda al modelo a comprender y generalizar mejor cuando se encuentra con casos nuevos. Siguiendo la tendencia general en el entrenamiento de la IA, ChatGPT y otros modelos de lenguaje a gran escala no se entrenan con datos específicos para casos de uso concretos, sino con datos de texto generales a gran escala para que puedan tener inteligencia general: creemos en la misma estrategia para entrenar detectores de IA que sean robustos ante todos los diferentes tipos generales de texto que un modelo de lenguaje a gran escala (LLM) pueda producir.

Minería de datos con datos de entrenamiento negativos / Aprendizaje activo

Hemos escrito extensamente sobre nuestro algoritmo de aprendizaje activo, que aprovecha una técnica denominada «minería de negativos duros», y creemos que esta es la razón principal por la que hemos podido reducir nuestra tasa de falsos positivos hasta casi cero.

En esencia, la razón por la que esto funciona es que la mayoría de los ejemplos reales son «ejemplos fáciles»: una vez que el modelo aprende los patrones básicos de lo que es humano y lo que es IA, resulta muy fácil distinguir entre ambos en la gran mayoría del conjunto de datos. Sin embargo, eso solo permite alcanzar una precisión de alrededor del 99 %. Para arañar esos últimos puntos de precisión, debemos encontrar los casos más difíciles para entrenar el modelo: podemos pensar en estos casos como aquellos en los que un humano decide escribir de una manera muy similar a un modelo de lenguaje de IA, pero que, en realidad, solo escribe así por casualidad. Para encontrar estos «negativos difíciles», realizamos búsquedas a gran escala en conjuntos de datos del tamaño de Internet, como los que se utilizan para entrenar los LLM, y luego aplicamos un «espejo sintético» para generar ejemplos de IA que suenen similares. Puedes encontrar más detalles en nuestra página «Cómo funciona».

Ponderación de pérdidas y sobremuestreo

Formulamos nuestro objetivo de optimización de tal manera que el modelo dé prioridad a los falsos positivos frente a los falsos negativos durante el propio proceso de entrenamiento. Cuando el modelo se equivoca al clasificar un documento escrito por un humano, se le «penaliza» con un factor mucho más severo que si se equivoca al clasificar un documento generado por IA. Esto obliga al modelo a ser conservador y a predecir que un documento es de IA solo si está absolutamente seguro.

Calibración

Esto tiene que ver con la selección del umbral, tal y como se describe en RAID. Seleccionamos nuestro umbral basándonos en el análisis de millones de documentos de nuestros conjuntos de evaluación, con el fin de lograr un equilibrio adecuado entre las tasas de falsos positivos y falsos negativos. Con nuestra selección de umbral, intentamos encontrar un equilibrio entre mantener una tasa de falsos negativos razonable sin comprometer nuestra tasa de falsos positivos.

Conclusiones

• Pangram presenta una tasa de falsos positivos considerablemente inferior a la de la competencia.
• La tasa de falsos positivos extremadamente baja de Pangram se debe a una combinación de escala, entrenamiento y búsqueda.
• Dado que la tasa de falsos positivos es tan importante en la detección mediante IA, hemos creado un conjunto de pruebas y control de calidad extremadamente completo y hemos desarrollado un minucioso proceso de validación final que combina una cuidadosa evaluación estadística con un juicio humano más subjetivo y cualitativo, así como con valoraciones intuitivas.

Nos encanta trabajar con investigadores para mejorar la precisión general de nuestro software, y nos apasiona la evaluación comparativa abierta y la transparencia en la detección mediante IA. Si desea saber cómo trabajar con nosotros, colaborar con nosotros o tiene alguna otra pregunta sobre la precisión de Pangram, póngase en contacto con nosotros en info@pangram.com.