¿Qué grado de precisión tiene la detección de pangramas de la IA en ESL?
El detector de IA de Pangram mantiene una baja tasa de falsos positivos en la redacción de hablantes de inglés como segunda lengua: cómo medimos y mitigamos los sesgos contra los hablantes no nativos de inglés.
Índice
- Estudios previos sobre la detección de IA y el ESL
- La actuación de Pangram en ESL
- Pangram frente a Turnitin
- Pangram contra GPTZero
- ¿Cómo mitiga Pangram los falsos positivos en la redacción de estudiantes de inglés como segunda lengua?
- Datos
- Funcionalidades multilingües
- Aprendizaje activo
- Estrategias de prompting
- Evaluación rigurosa y control de calidad
- ¿Se puede confiar en los detectores de IA en ESL?
Actualizado en mayo de 2026 con el lanzamiento de Pangram 3.3
Una crítica habitual a los detectores de IA es que tienen un sesgo en contra de quienes no son hablantes nativos de inglés. Los textos escritos por personas que no son hablantes nativos de inglés se denominan ESL (inglés como segunda lengua) o, más concretamente, ELL (estudiantes de inglés). En artículos anteriores, hemos explicado por qué otros detectores de IA basados en la perplejidad y la irregularidad son susceptibles a este defecto.
Los hablantes no nativos de inglés suelen escribir en un inglés más fluido y regular que los hablantes nativos, y los detectores basados en la irregularidad confunden esa regularidad con la IA. Por lo tanto, los intentos anteriores de detección de la IA se han quedado cortos: a menudo caracterizan erróneamente los textos de estudiantes de inglés como segunda lengua (ESL) como escritos generados por IA, lo que da lugar a una elevada tasa de falsos positivos en los textos de ESL.
Estudios previos sobre la detección de IA y el ESL
En julio de 2023, Weixin Liang, James Zou y otros autores publicaron un destacado estudio de la Universidad de Stanford en el que se afirmaba que los detectores de GPT muestran un sesgo contra los escritores cuyo inglés no es su lengua materna. Aunque el estudio se llevó a cabo con una muestra reducida (solo 91 redacciones del examen TOEFL) y presentaba algunos defectos metodológicos (los autores decidieron clasificar como «humano» el texto humano modificado por GPT-4 al probar los detectores), en general, los resultados revelaron que los siete detectores de IA analizados (Pangram no se incluyó en este estudio) mostraban un fuerte sesgo contra los textos escritos por hablantes de inglés como segunda lengua (ESL), ya que más del 60 % de las muestras de textos escritos por hablantes de ESL fueron marcadas como generadas por IA.
Un estudio más reciente, de agosto de 2024, realizado por el ETS —un centro de servicios de evaluación que administra el GRE, una prueba estandarizada para el acceso a estudios de posgrado—, también llevó a cabo un análisis a mayor escala de unas 2.000 muestras de redacción de hablantes no nativos de inglés en el GRE, utilizando detectores sencillos de aprendizaje automático que ellos mismos entrenaron con características definidas manualmente, incluida la perplejidad. No encontraron ningún sesgo en sus propios detectores contra el inglés no nativo, aunque el diseño experimental era muy simplificado y artificial, y existen diferencias importantes entre este estudio y la realidad. Además, no analizaron los detectores comerciales que se utilizan realmente en la práctica. No obstante, el estudio pone de relieve un aspecto interesante: cuando los datos de hablantes no nativos de inglés están suficientemente representados en el conjunto de entrenamiento, el sesgo resultante se mitiga en gran medida.
La actuación de Pangram en ESL
Para medir la tasa de falsos positivos de Pangram en datos de ESL, hemos ejecutado el detector de IA de Pangram en cuatro conjuntos de datos públicos de ESL (hemos excluido estos conjuntos de datos durante el entrenamiento, para evitar cualquier fuga entre el entrenamiento y la prueba).
Los conjuntos de datos que estudiamos incluyen:
A continuación se muestran los resultados.
| Conjunto de datos | Tasa de falsos positivos | Tamaño de la muestra |
|---|---|---|
| ELIPSE | 0% | 3,907 |
| ICNALE | 0% | 5,600 |
| PELIC | 0.019% | 15,423 |
| Liang TOEFL | 0% | 91 |
| En general | 0.012% | 25,021 |
La tasa global de falsos positivos de Pangram es del 0,012 %, lo que no supone un aumento significativo con respecto a nuestra tasa general de falsos positivos, que es del 0,01 %.
Pangram frente a Turnitin
Comparamos directamente Pangram con Turnitin utilizando los mismos conjuntos de datos que Turnitin empleó en una evaluación pública de su indicador de redacción basado en IA.
Evaluamos tanto el inglés «L1» (no como segunda lengua) como el «L2» (como segunda lengua) utilizando los mismos conjuntos de datos que Turnitin. Dado que Turnitin no evalúa documentos de menos de 300 palabras, aplicamos el mismo filtro al conjunto de datos antes de la evaluación.
| Conjunto de datos | Pangram FPR | Turnitin FPR |
|---|---|---|
| Inglés L2 Más de 300 palabras | 0.02% | 1.4% |
| L1 Inglés 300+ palabras | 0.00% | 1.3% |
Hemos constatado que la tasa de falsos positivos de Pangram en textos de inglés como segunda lengua (ESL) es aproximadamente 70 veces inferior a la de Turnitin, y que Pangram no detecta ningún falso positivo en los textos en inglés nativo de este estudio.
Pangram contra GPTZero
GPTZero indica que tiene una tasa de falsos positivos del 1,1 % en el estudio original de Liang sobre el TOEFL, aunque el 6,6 % del conjunto de datos del TOEFL de Liang también se clasifica erróneamente como «posible contenido generado por IA».
En comparación, Pangram no da ni un solo falso positivo en el conjunto de datos Liang TOEFL, y tenemos plena confianza en todos los ejemplos.
¿Cómo mitiga Pangram los falsos positivos en la redacción de estudiantes de inglés como segunda lengua?
En Pangram nos tomamos muy en serio la calidad de nuestro contenido en inglés no nativo, y por eso hemos aplicado varias estrategias para reducir los falsos positivos en nuestro modelo de detección de textos generados por IA.
Datos
Los modelos de aprendizaje automático no funcionan bien fuera de su distribución de entrenamiento, por lo que nos aseguramos de incluir en nuestro conjunto de datos textos que no estén redactados en inglés.
Sin embargo, no nos quedamos ahí. Mientras que otros detectores de textos generados por IA se centran específicamente en los trabajos de los estudiantes y los ensayos académicos, nosotros entrenamos nuestro modelo con un amplio abanico de textos. Otros detectores de escritura con IA que solo se han entrenado con ensayos suelen adolecer de una escasa representación del inglés más coloquial y conversacional en el conjunto de entrenamiento. Por el contrario, nosotros utilizamos textos de redes sociales, reseñas y textos generales de Internet, que suelen ser informales y más representativos de una escritura imperfecta similar al inglés que utilizan los hablantes no nativos o los estudiantes de inglés.
También nos aseguramos de incluir fuentes que puedan contener textos escritos en inglés por hablantes no nativos, aunque dichas fuentes no sean específicamente conjuntos de datos de inglés como segunda lengua (ESL). Por ejemplo, los textos en inglés de páginas web con dominios extranjeros constituyen una excelente fuente de textos escritos en inglés por hablantes no nativos.
Funcionalidades multilingües
Además, a diferencia de otros detectores de IA, no limitamos nuestro ámbito exclusivamente al inglés. De hecho, no imponemos ninguna restricción al idioma de nuestro modelo: utilizaremos todos y cada uno de los idiomas presentes en Internet para entrenarlo, de modo que funcione correctamente en todos los idiomas habituales.
Ya hemos hablado anteriormente de nuestros excelentes resultados en el ámbito multilingüe, y creemos que las técnicas que hemos utilizado para que Pangram funcione muy bien en otros idiomas también se pueden aplicar perfectamente a la enseñanza del inglés como segunda lengua (ESL).
Aunque no podemos estar completamente seguros de cuáles son los mecanismos responsables de esa buena generalización y transferencia, sospechamos que el inglés como segunda lengua (ESL) puede considerarse casi una lengua adyacente al inglés. Al optimizar el modelo para que funcione bien en todas las lenguas, este no puede sufrir un sobreajuste a los estilos, construcciones gramaticales o elecciones léxicas específicos de cada idioma, ni a las formas habituales en que se expresan las ideas en una lengua concreta. Al analizar textos humanos en todos los idiomas, enseñamos al modelo cómo escriben todos los seres humanos, no solo los hablantes nativos de inglés. Esto hace que el modelo sea menos propenso a centrarse erróneamente en los patrones idiomáticos expresados por los hablantes nativos.
Aprendizaje activo
Nuestro enfoque de aprendizaje activo es la razón por la que Pangram es mucho más preciso y marca como «IA» una cantidad significativamente menor de texto escrito por humanos que la competencia.
Al alternar de forma iterativa entre el entrenamiento y la extracción de ejemplos negativos, encontramos los ejemplos escritos por humanos que más se asemejan al texto generado por IA para el entrenamiento. Este enfoque no solo permite identificar los ejemplos escritos por humanos más similares al texto generado por IA —lo que ayuda al modelo a comprender las diferencias sutiles entre el texto de hablantes de inglés como segunda lengua (ESL) y el texto generado por IA—, sino que también nos ayuda a encontrar ejemplos similares al ESL que se puedan transferir fácilmente y que contribuyan a que el modelo aprenda mejores patrones en general.
Estrategias de prompting
Al crear ejemplos de IA para que el modelo aprenda, intentamos utilizar una amplia variedad de indicaciones para que el modelo pueda generalizar a diferentes estilos de redacción. Por ejemplo, a menudo añadimos modificaciones al final de nuestras indicaciones, como «Escribe este ensayo al estilo de un estudiante de secundaria» o «Escribe este artículo al estilo de alguien cuyo inglés no es su lengua materna».
Al generar tantos estilos de escritura diferentes, el modelo no solo aprende la forma habitual en que escriben los modelos de lenguaje de IA, sino que aprende los patrones fundamentales que subyacen al texto generado por la IA.
Desde un punto de vista estadístico, diseñamos nuestro proceso de generación de textos sintéticos de tal manera que nuestro modelo resulte invariante ante características irrelevantes, como el tema, el nivel de redacción o el tono. Al proporcionar al modelo indicaciones que se ajustan a las características del texto humano, incorporamos la invariancia mediante el uso de un número igual de ejemplos humanos y de IA que presenten cada una de esas características.
Evaluación rigurosa y control de calidad
Por último, aplicamos un proceso de evaluación y control de calidad extremadamente exhaustivo y riguroso antes de dar el visto bueno a cada nueva actualización del modelo.
En la evaluación, nos centramos tanto en la calidad como en la cantidad. Por ejemplo, el conjunto de datos Liang TOEFL solo contiene 91 ejemplos, por lo que solo podríamos obtener una estimación muy aproximada de nuestra tasa de falsos positivos en ESL si utilizáramos únicamente ese conjunto de datos. Si solo nos equivocáramos en un único ejemplo, obtendríamos una tasa de falsos positivos del 1,1 %, por lo que no podríamos distinguir entre modelos que realmente tienen una FPR real inferior al 1 %.
Dado que nos esforzamos por conseguir una tasa de falsos positivos muy inferior al 1 % (nuestro objetivo es que la tasa de falsos positivos se sitúe entre 1 de cada 10 000 y 1 de cada 100 000), necesitamos analizar millones de ejemplos para poder confirmar una precisión a ese nivel.
Realizar evaluaciones a gran escala también nos ayuda a comprender mejor los modos de fallo que presenta nuestro modelo y a corregirlos con el tiempo, mediante la obtención de datos de mayor calidad y el desarrollo de estrategias algorítmicas más eficaces, diseñadas específicamente para nuestros casos de fallo.
¿Se puede confiar en los detectores de IA en ESL?
A partir de nuestras mediciones, los resultados detallados de la evaluación y las estrategias de mitigación explicables, creemos que Pangram ofrece una precisión suficiente para los hablantes no nativos de inglés como para poder implementarlo en el ámbito educativo.
Sin embargo, contar con un detector de IA suficientemente imparcial no basta para evitar todas las formas de sesgo en el proceso de integridad académica. Los docentes deben ser conscientes de que el sesgo puede manifestarse de manera inconsciente. Por ejemplo, si un docente tiende a utilizar un detector de IA en los trabajos de los estudiantes cuyo inglés no es su lengua materna debido a la sospecha subconsciente de que los estudiantes de inglés como segunda lengua son menos honestos, eso constituye una forma de sesgo.
Además, los profesores deben ser conscientes de que los estudiantes cuyo inglés no es su lengua materna se enfrentan a desventajas inherentes en el ámbito académico en comparación con sus compañeros nativos. Los estudiantes de inglés como segunda lengua (ESL) tienden más a utilizar herramientas externas, como ChatGPT, para mejorar su redacción, lo que, cuando se utiliza en una cantidad suficiente, activa el software de detección de IA. Por eso recomendamos la Escala de Evaluación de IA de Perkins para facilitar una comunicación clara con los estudiantes sobre qué tipo de ayuda de IA está permitida y cuál no.
Por último, sabemos que los alumnos copian cuando se ven sometidos a estrés y presión, o cuando consideran que utilizar una herramienta de IA es la única forma de tener éxito. Animamos a los docentes a abordar estos factores de forma proactiva, ofreciendo apoyo a estos alumnos, comunicando claramente qué tipo de ayuda está disponible y permitida, y, posiblemente, replanteándose las estrategias de evaluación que exigen un inglés perfecto a alumnos que llegan al aula en situación de desventaja.
Pangram debería utilizarse como herramienta para fomentar la integridad académica, de modo que los educadores puedan comprender cuál es la mejor manera de proceder para apoyar el aprendizaje de sus alumnos.
Si desea obtener más información sobre nuestra investigación y las medidas que tomamos para mitigar los sesgos en nuestro software de detección de IA, póngase en contacto con nosotros en info@pangram.com.

Bradley es investigador en inteligencia artificial y experto en el desarrollo de productos de aprendizaje profundo para el sector industrial. Recientemente ha dirigido el grupo de investigación en aprendizaje profundo de Absci, una empresa dedicada al descubrimiento de fármacos mediante IA generativa, y anteriormente formó parte del equipo principal de visión artificial de Tesla Autopilot.
Lecturas relacionadas

El reto de la evaluación

¿Es correcto el pangram?

¿Sigue siendo real tu imagen después de los retoques con IA?

Un enfoque mosaico de la integridad académica en la era de la IA (con Chris Ostro)

Qué hacer cuando se marca como «IA» el trabajo presentado por un alumno
