¿Qué grado de precisión tiene la detección de pangramas de la IA en ESL?

Actualizado en mayo de 2026 con el [lanzamiento de Pangram 3.3]

Una crítica habitual a los detectores de IA es que tienen un sesgo en contra de quienes no son hablantes nativos de inglés. Los textos escritos por personas que no son hablantes nativos de inglés se denominan ESL (inglés como segunda lengua) o, más concretamente, ELL (estudiantes de inglés). En artículos anteriores, hemos explicado por qué otros detectores de IA basados en la perplejidad y la irregularidad son susceptibles a este defecto.

Las personas cuyo inglés no es su lengua materna no disponen del vocabulario suficiente ni del dominio de las estructuras sintácticas complejas del inglés para escribir de una manera que presente un alto nivel de «burstiness». Por lo tanto, los intentos anteriores de detección mediante IA han resultado insuficientes: a menudo confunden los textos escritos por hablantes de inglés como segunda lengua (ESL) con textos generados por IA, lo que da lugar a una elevada tasa de falsos positivos en los textos ESL.

Estudios previos sobre la detección de IA y el ESL

En julio de 2023, Weixin Liang, James Zou y otros autores publicaron un destacado estudio de la Universidad de Stanford en el que se afirmaba que los detectores de GPT muestran un sesgo contra los escritores cuyo inglés no es su lengua materna. Aunque el estudio se realizó con una muestra de tamaño reducido (solo 91 redacciones del examen TOEFL) y presentaba algunos defectos metodológicos (los autores decidieron etiquetar como «humano» el texto humano modificado por GPT-4 al probar los detectores), en general, los resultados mostraron que los siete detectores de IA probados (Pangram no se probó en este estudio) mostraban un fuerte sesgo contra la escritura de hablantes de inglés como segunda lengua (ESL), con más del 60 % de las muestras de escritura humana de ESL marcadas como IA.

Un estudio más reciente, de agosto de 2024, realizado por el ETS —un centro de servicios de evaluación que administra el GRE, una prueba estandarizada para el acceso a estudios de posgrado—, también llevó a cabo un análisis a mayor escala de unas 2000 muestras de redacción de hablantes no nativos de inglés en el GRE, utilizando detectores sencillos de aprendizaje automático que ellos mismos entrenaron con características definidas manualmente, incluida la perplejidad. No encontraron ningún sesgo en sus propios detectores contra el inglés no nativo, aunque el diseño experimental era muy simplificado y artificial, y existen diferencias importantes entre este estudio y el mundo real. Además, no estudiaron los detectores comerciales que se utilizan realmente en la práctica. No obstante, el estudio destaca un punto interesante: cuando los datos de hablantes no nativos de inglés están suficientemente representados en el conjunto de entrenamiento, el sesgo resultante se mitiga de manera suficiente.

La actuación de Pangram en ESL

Para medir la tasa de falsos positivos de Pangram en datos de ESL, hemos ejecutado el detector de IA de Pangram en cuatro conjuntos de datos públicos de ESL (hemos excluido estos conjuntos de datos durante el entrenamiento, para evitar cualquier fuga de información entre el entrenamiento y la prueba).

Los conjuntos de datos que estudiamos incluyen:

• Conjunto de datos ELLIPSE para el aprendizaje del inglés

• Corpus internacional de estudiantes asiáticos de inglés

• Corpus de enseñanza del inglés de Pittsburgh

• Conjunto de datos del TOEFL del estudio de Liang et al. de la Universidad de Stanford

A continuación se muestran los resultados.

La tasa global de falsos positivos de Pangram es del 0,078 %, lo que no supone un aumento significativo con respecto a nuestra tasa general de falsos positivos, que es del 0,01 %.

Pangram frente a TurnItIn

Comparamos directamente Pangram con TurnItIn utilizando los mismos conjuntos de datos que TurnItIn empleó en una evaluación pública de su indicador de escritura basado en IA.

Evaluamos tanto el inglés «L1» (no ESL) como el «L2» (ESL) utilizando los mismos conjuntos de datos que TurnItIn. Dado que TurnItIn no evalúa documentos de más de 300 palabras, aplicamos el mismo filtro al conjunto de datos antes de la evaluación.

Hemos constatado que Pangram es dos órdenes de magnitud más preciso que TurnItIn en textos de hablantes de inglés como segunda lengua, y que Pangram no detecta ningún falso positivo en los textos de hablantes nativos de inglés de este estudio.

Pangram contra GPTZero

GPTZero indica que tiene una tasa de falsos positivos del 1,1 % en el estudio original de Liang sobre el TOEFL, aunque el 6,6 % del conjunto de datos del TOEFL de Liang también se clasifica erróneamente como «posible contenido generado por IA».

En comparación, Pangram no da ni un solo falso positivo en el conjunto de datos Liang TOEFL, y tenemos plena confianza en todos los ejemplos.

¿Cómo mitiga Pangram los falsos positivos en la redacción de estudiantes de inglés como segunda lengua?

En Pangram nos tomamos muy en serio la calidad de nuestro contenido en inglés no nativo, y por eso hemos aplicado varias estrategias para reducir los falsos positivos en nuestro modelo de detección de textos generados por IA.

Datos

Los modelos de aprendizaje automático no funcionan bien fuera de su distribución de entrenamiento, por lo que nos aseguramos de incluir en nuestro conjunto de datos textos que no estén redactados en inglés.

Sin embargo, no nos quedamos ahí. Mientras que otros detectores de textos generados por IA se centran específicamente en los trabajos de los estudiantes y los ensayos académicos, nosotros entrenamos nuestro modelo con un amplio abanico de textos. Otros detectores de escritura con IA que solo se han entrenado con ensayos suelen adolecer de una escasa representación del inglés más coloquial y conversacional en el conjunto de entrenamiento. Por el contrario, nosotros utilizamos textos de redes sociales, reseñas y textos generales de Internet, que suelen ser informales y más representativos de una escritura imperfecta similar al inglés que utilizan los hablantes no nativos o los estudiantes de inglés.

También nos aseguramos de incluir fuentes que puedan contener textos escritos en inglés por hablantes no nativos, aunque no se trate específicamente de conjuntos de datos de inglés como segunda lengua (ESL). Por ejemplo, los textos en inglés de sitios web con dominios extranjeros constituyen una excelente fuente de textos escritos en inglés por hablantes no nativos.

Funcionalidades multilingües

Además, a diferencia de otros detectores de IA, no limitamos nuestro ámbito exclusivamente al inglés. De hecho, no imponemos ninguna restricción al idioma de nuestro modelo: utilizaremos todos y cada uno de los idiomas presentes en Internet para entrenarlo, de modo que funcione correctamente en todos los idiomas habituales.

Ya hemos hablado anteriormente de nuestros excelentes resultados en el ámbito multilingüe, y creemos que las técnicas que hemos utilizado para que Pangram funcione muy bien en otros idiomas también se pueden aplicar perfectamente a la enseñanza del inglés como segunda lengua (ESL).

Aunque no podemos estar completamente seguros de cuáles son los mecanismos responsables de esa buena generalización y transferencia, sospechamos que el inglés como segunda lengua (ESL) puede considerarse casi una lengua adyacente al inglés. Al optimizar el modelo para que funcione bien en todas las lenguas, este no puede sufrir un sobreajuste a los estilos, construcciones gramaticales o elecciones léxicas específicos de cada idioma, ni a las formas habituales en que se expresan las ideas en una lengua concreta. Al analizar textos humanos en todos los idiomas, enseñamos al modelo cómo escriben todos los seres humanos, no solo los hablantes nativos de inglés. Esto hace que el modelo sea menos propenso a centrarse erróneamente en los patrones idiomáticos expresados por los hablantes nativos.

Aprendizaje activo

Nuestro enfoque de aprendizaje activo es la razón por la que Pangram es mucho más preciso y marca como «IA» una cantidad significativamente menor de texto escrito por humanos que la competencia.

Al alternar de forma iterativa entre el entrenamiento y la extracción de ejemplos negativos, encontramos los ejemplos escritos por humanos que más se asemejan al texto generado por IA para el entrenamiento. Este enfoque no solo permite identificar los ejemplos escritos por humanos más similares al texto generado por IA —lo que ayuda al modelo a comprender las diferencias sutiles entre el texto de hablantes de inglés como segunda lengua (ESL) y el texto generado por IA—, sino que también nos ayuda a encontrar ejemplos similares al ESL que se puedan transferir fácilmente y que contribuyan a que el modelo aprenda mejores patrones en general.

Estrategias de prompting

Al crear ejemplos de IA para que el modelo aprenda, intentamos utilizar una amplia variedad de indicaciones para que el modelo pueda generalizar a diferentes estilos de redacción. Por ejemplo, a menudo añadimos modificaciones al final de nuestras indicaciones, como «Escribe este ensayo al estilo de un estudiante de secundaria» o «Escribe este artículo al estilo de alguien cuyo inglés no es su lengua materna».

Al generar tantos estilos de escritura diferentes, el modelo no solo aprende la forma habitual en que escriben los modelos de lenguaje de IA, sino que aprende los patrones fundamentales que subyacen al texto generado por la IA.

Desde un punto de vista estadístico, diseñamos nuestro proceso de generación de textos sintéticos de tal manera que nuestro modelo resulte invariante ante características irrelevantes, como el tema, el nivel de redacción o el tono. Al proporcionar al modelo indicaciones que se ajustan a las características del texto humano, incorporamos la invariancia mediante el uso de un número igual de ejemplos humanos y de IA que presenten cada una de esas características.

Evaluación rigurosa y control de calidad

Por último, aplicamos un proceso de evaluación y control de calidad extremadamente exhaustivo y riguroso antes de dar el visto bueno a cada nueva actualización del modelo.

En la evaluación, nos centramos tanto en la calidad como en la cantidad. Por ejemplo, el conjunto de datos Liang TOEFL solo contiene 91 ejemplos, por lo que solo podríamos obtener una estimación muy aproximada de nuestra tasa de falsos positivos en ESL si utilizáramos únicamente ese conjunto de datos. Si solo nos equivocáramos en un único ejemplo, obtendríamos una tasa de falsos positivos del 1,1 %, por lo que no podríamos distinguir entre modelos que realmente tienen una FPR real inferior al 1 %.

Dado que nuestro objetivo es mantener una tasa de falsos positivos muy inferior al 1 % (nuestra tasa objetivo de falsos positivos se sitúa entre 1 de cada 10 000 y 1 de cada 100 000), necesitamos analizar millones de ejemplos para poder confirmar una precisión de ese nivel.

Realizar evaluaciones a gran escala también nos ayuda a comprender mejor los modos de fallo que presenta nuestro modelo y a corregirlos con el tiempo, mediante la obtención de datos de mayor calidad y el desarrollo de estrategias algorítmicas más eficaces, diseñadas específicamente para nuestros casos de fallo.

¿Se puede confiar en los detectores de IA en ESL?

A partir de nuestras mediciones, los resultados detallados de la evaluación y las estrategias de mitigación explicables, creemos que Pangram ofrece una precisión suficiente para los hablantes no nativos de inglés como para poder implementarlo en el ámbito educativo.

Sin embargo, contar con un detector de IA suficientemente imparcial no basta para evitar todas las formas de sesgo en el proceso de integridad académica. Los docentes deben ser conscientes de que el sesgo puede manifestarse de manera inconsciente. Por ejemplo, si un docente tiende a utilizar un detector de IA en los trabajos de los estudiantes cuyo inglés no es su lengua materna debido a la sospecha subconsciente de que los estudiantes de inglés como segunda lengua son menos honestos, eso constituye una forma de sesgo.

Además, los profesores deben ser conscientes de que los estudiantes cuyo idioma materno no es el inglés se enfrentan a desventajas inherentes en el ámbito académico en comparación con sus compañeros nativos. Los estudiantes de inglés como segunda lengua (ESL) tienden más a utilizar herramientas externas, como ChatGPT, para mejorar su redacción; sin embargo, el uso excesivo de estas herramientas puede activar el software de detección de IA. Por eso recomendamos la Escala de Evaluación de IA de Perkins, para facilitar una comunicación clara con los estudiantes sobre qué tipo de ayuda de IA está permitida y cuál no.

Por último, sabemos que los alumnos copian cuando se ven sometidos a estrés y presión, cuando sienten una falta de confianza en sí mismos —especialmente al compararse con sus compañeros— y cuando creen que recurrir a algún tipo de ayuda para copiar es la única forma de tener éxito. Animamos a los docentes a abordar estas cuestiones de forma proactiva, ofreciendo apoyo a estos alumnos, comunicando con claridad qué tipo de ayuda está disponible y permitida, y, en su caso, replanteándose las estrategias de evaluación que exigen un inglés perfecto a alumnos que llegan al aula en una situación de desventaja.

Pangram debería utilizarse como herramienta para fomentar la integridad académica, de modo que los educadores puedan comprender cuál es la mejor manera de proceder para apoyar el aprendizaje de sus alumnos.

Si desea obtener más información sobre nuestra investigación y las medidas que tomamos para mitigar los sesgos en nuestro software de detección de IA, póngase en contacto con nosotros en info@pangram.com.