Pangram 3.0: Cuantificación del alcance de la edición mediante IA en los textos

*Nota: Nuestro nuevo modelo, Pangram 3.0, se basa en nuestra investigación publicada: «EditLens: Cuantificación del alcance de la edición mediante IA en los textos».

La rápida adopción de los grandes modelos de lenguaje (LLM), como ChatGPT, Claude y Gemini, ha transformado la forma en que escribimos, revisamos e interactuamos con el texto. Un estudio reciente de OpenAI reveló que dos tercios de todas las consultas relacionadas con la redacción que se envían a ChatGPT consisten en pedir al modelo que modifique un texto proporcionado por el usuario, en lugar de generar texto desde cero. Cada vez más, los usuarios solicitan a los modelos que mejoren la gramática, reestructuren los argumentos o cambien el tono, partiendo de un borrador escrito por un humano.

¿Qué supone el auge de los textos redactados por personas pero editados por IA para las herramientas de detección de IA? Muchas de las herramientas existentes están diseñadas para clasificar los textos en un máximo de tres categorías: totalmente humano, totalmente generado por IA o mixto. Este marco no distingue entre un párrafo con correcciones gramaticales realizadas por un modelo de lenguaje grande (LLM) y un párrafo ampliado por un modelo para añadir detalles.

Para reflejar plenamente el espectro de las modificaciones realizadas por la IA en un texto, presentamos Pangram 3.0, un modelo diseñado para cuantificar el grado de participación de la IA en la creación de un texto. En lugar de ofrecer una clasificación de «totalmente humano», «totalmente IA» o «mixto», Pangram genera una puntuación que refleja la «intensidad» de la intervención de la IA.

Autoría mixta homogénea frente a heterogénea

Pangram 3.0 aborda el caso de lo que denominaremos «textos de autoría mixta homogénea ». Analicemos la diferencia entre la autoría mixta homogénea y la heterogénea.

En el caso heterogéneo, la autoría de cada segmento de texto puede atribuirse directamente a un ser humano o a una IA. En el ejemplo que figura a continuación, una persona comienza a escribir una reseña y luego le pide a ChatGPT que la complete. En casos como este, existen uno o más límites entre los segmentos escritos por humanos y los generados por IA. Se podría etiquetar cada frase o incluso cada palabra según quién la haya producido: un ser humano o la IA. La detección de texto mixto heterogéneo (también denominada detección de texto de IA de alta precisión) ha sido estudiada anteriormente por Kushnareva et al. (2024), Wang et al. (2023) y Lei et al. (2025).

En el caso homogéneo, la autoría se ve entremezclada con el proceso de edición. Siguiendo con nuestro ejemplo de la reseña de un restaurante, se generaría un texto mixto homogéneo si un humano escribiera una reseña breve, pero le pidiera a ChatGPT que le añadiera detalles. En este caso, es imposible separar las palabras escritas por el humano de las escritas por la IA: la IA ha reformulado el texto humano con nuevas palabras, pero el significado y las ideas que hay detrás del texto provienen directamente del borrador humano (pensemos en un caso en el que un autor humano parafrasea a otro sin citarlo: ¡este es un caso clásico de plagio!).

Figura 2: Ejemplo de un texto con autoría mixta heterogénea (humana y de IA) (izquierda) y de un texto con autoría mixta homogénea (derecha)

Cada uno de los tres textos editados de la figura 1 es un ejemplo del caso de autoría mixta homogénea. A partir de estos tres ejemplos, podemos observar que existe una clara diferencia entre el texto generado por la indicación «Corrige cualquier error» y el texto generado por la indicación «Hazlo más descriptivo». Esta diferencia es especialmente notable cuando comparamos los textos resultantes con el texto original escrito por humanos, pero con Pangram 3.0 damos un paso hacia la cuantificación de esa diferencia cuando solo disponemos del texto editado, de modo que los usuarios puedan comprender mejor hasta qué punto la IA está presente en un texto determinado.

Creación de un conjunto de datos editado por IA

Para entrenar un modelo capaz de determinar el grado de edición por IA presente en un texto, tuvimos que crear un conjunto de datos de entrenamiento compuesto por textos editados por IA y etiquetados con el nivel de edición por IA presente en cada uno de ellos. Seleccionamos textos originales escritos íntegramente por humanos a partir de conjuntos de datos de código abierto de diversos ámbitos: noticias, reseñas, artículos web educativos y propuestas de redacción de Reddit. A continuación, aplicamos 303 indicaciones de edición diferentes, como «Haz esto más descriptivo» o «¿Puedes ayudarme a que mi ensayo obtenga una mejor nota?», utilizando tres modelos de lenguaje grandes (LLM) comerciales diferentes: GPT-4.1, Claude Sonnet 4 y Gemini 2.5 Flash. Por último, generamos una versión generada íntegramente por IA (también denominada «espejo sintético», véase el Informe técnico de Pangram) de cada texto escrito por humanos. Nuestro conjunto de datos final cuenta con 60 000 ejemplos de entrenamiento, 6000 de prueba y 2400 de validación.

¿Cómo podemos saber en qué medida un texto ha sido editado por la IA?

Dado que tenemos acceso al texto original sin editar durante la creación del conjunto de datos, pudimos medir el grado de edición por IA presente en el texto comparando el texto original con su versión editada por IA. Utilizamos una métrica de similitud textual denominada «distancia coseno» para estimar en qué medida la IA modificó el texto original escrito por humanos en una escala del 0 al 1, en la que a los textos escritos íntegramente por humanos se les asignó una puntuación de 0 y a los textos generados íntegramente por IA, una puntuación de 1. Para validar que esta puntuación se corresponde con la forma en que los humanos perciben la edición por IA, llevamos a cabo un estudio en el que contratamos a tres expertos con amplia experiencia en textos generados por IA y les pedimos que eligieran cuál de dos textos editados por IA presentaba más cambios de la IA. Nuestro estudio reveló que los evaluadores coincidían en general con nuestra elección de la métrica de similitud textual.

Entrenamiento de un modelo para predecir las modificaciones de la IA

Una vez que tuvimos nuestro conjunto de datos etiquetado, llegó el momento de entrenar un modelo. Nuestro modelo se entrena únicamente con los textos editados por IA, lo que refleja cómo utilizaría un usuario Pangram 3.0: un profesor interesado en saber cuánta IA ha utilizado su alumno solo dispondrá del trabajo final del alumno, no de los borradores previos. Dado un texto, nuestro modelo está entrenado para predecir la puntuación de edición de IA que le asignamos en la sección anterior. La figura 3 ilustra las entradas y salidas de nuestro modelo tanto en la fase de entrenamiento como en la de evaluación.

La detección de asistencia mediante IA en la práctica

Aquí tienes un párrafo escrito por una persona sobre el autor Kazuo Ishiguro:

Leer las obras del autor británico Kazuo Ishiguro es experimentar frustración a muchos niveles diferentes. La genialidad de la frustrante escritura de Ishiguro radica en que, independientemente del grado de implicación emocional del lector con los personajes y la trama, la frustración abunda. En el plano del lenguaje propiamente dicho, el lector se encuentra con repeticiones, prolijidad y un uso generoso de adjetivos calificativos. Ishiguro me ha condicionado a tener una reacción física adversa cada vez que uno de sus personajes dice algo del tipo «Seré breve». Todos los narradores están ocupados, pero ninguno es un narrador profesional. La información se va desvelando lentamente, de forma imprecisa y sin seguir un orden cronológico. Esto priva al lector de datos concretos que faciliten la comprensión de la trama.

Así es como Pangram 3.0 describe las versiones editadas por IA de este párrafo de ChatGPT tras aplicar diferentes indicaciones:

Caso práctico de Grammarly

Grammarly es un asistente de redacción basado en IA y disponible mediante suscripción que permite a los usuarios editar textos directamente utilizando modelos de lenguaje grande (LLM) desde su propio procesador de textos. Recopilamos un conjunto de datos en el que utilizamos Grammarly para aplicar nueve de las sugerencias de edición predeterminadas a 197 textos escritos por personas. Entre ellas se incluían indicaciones como «Simplifícalo», «Que suene fluido» y «Hazlo más descriptivo». A continuación, puntuamos todos los textos editados utilizando Pangram 3.0. En la figura 4, presentamos las distribuciones de las puntuaciones de la asistencia de IA agrupadas por sugerencia de edición. Podemos observar que, aunque pueda parecer contradictorio, Pangram 3.0 considera que «Corrige cualquier error» es la edición más leve, mientras que «Resúmelo» y «Hazlo más detallado» se consideran ediciones mucho más invasivas.

Figura 4: Distribución de las puntuaciones de Pangram 3.0 (EditLens) en un conjunto de datos recopilado de Grammarly. Las puntuaciones se agrupan según la corrección que se les ha aplicado. Todas las correcciones son opciones predeterminadas disponibles en el procesador de textos de Grammarly.

La puntuación de la asistencia de IA aumenta a medida que se aplican más modificaciones de IA

Llevamos a cabo un experimento en el que aplicamos cinco modificaciones de un modelo de lenguaje grande (LLM) al mismo texto y volvimos a evaluar el texto con Pangram 3.0 tras cada modificación. En la figura 5 se puede observar que, en general, la puntuación de la asistencia de IA (EditLens) aumenta a medida que se aplica cada modificación sucesiva.

Figura 5: Puntuaciones de Pangram 3.0 tras cada una de las cinco revisiones progresivas realizadas por IA en el mismo documento.

Estudio de caso de la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR)

En noviembre, los investigadores en inteligencia artificial expresaron su preocupación por la elevada proporción de trabajos y revisiones por pares que se sospechaba que habían sido generados por IA en la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR), uno de los principales encuentros sobre inteligencia artificial y aprendizaje automático. El profesor Graham Neubig, de la Universidad Carnegie Mellon, ofreció una recompensa a quien realizara una detección de IA en los trabajos y revisiones presentados en la ICLR de este año, y en Pangram aceptamos encantados.

Como parte de este análisis, aplicamos Pangram 3.0 a todas las revisiones por pares que se habían enviado a ICLR en este ciclo de revisión, así como a las revisiones enviadas en 2022, con el fin de comprobar nuestra tasa de falsos positivos (FPR). En las revisiones de 2022, Pangram 3.0 tuvo una FPR de aproximadamente 1 entre 1000 en «Ligeramente editado» frente a «Totalmente humano», una FPR de 1 entre 5000 en «Moderadamente editado» frente a «Totalmente humano» y una FPR de 1 entre 10 000 en «Muy editado» frente a «Totalmente humano». No encontramos confusiones entre «Generado íntegramente por IA» y «Totalmente humano». En las revisiones de este año, Pangram 3.0 detectó que más de la mitad de las revisiones contenían algún tipo de asistencia de IA. La figura 6 muestra la distribución de las puntuaciones de Pangram 3.0 en las 2026 revisiones de la ICLR.

Figura 6: Distribución de las predicciones de Pangram 3.0 en las revisiones de la ICLR de 2026

Si quieres conocer más a fondo nuestra metodología y nuestros resultados, echa un vistazo a la entrada del blog que hemos escrito sobre nuestro análisis.

¿Cómo gestiona Pangram 3.0 los textos redactados con ayuda de la IA por personas que no son hablantes nativos de inglés?

Publicamos los resultados de nuestro análisis y las puntuaciones de Pangram 3.0 para todas las reseñas, lo que permitió a los reseñistas comprobar cómo había valorado Pangram 3.0 las reseñas que habían escrito. De este modo, pudimos recabar comentarios anecdóticos sobre el rendimiento de Pangram 3.0 con textos reales.

Un tema recurrente en las respuestas a nuestro análisis en X fue la cuestión de cómo AI Assistance evalúa los textos redactados por personas cuyo inglés no es su lengua materna y que luego utilizan modelos de lenguaje grande (LLM) para traducir o pulir sus textos escritos por humanos. A continuación, compartimos algunas respuestas de los revisores, quienes, en general, coincidieron con la descripción que hace Pangram de sus revisiones:

He revisado mis reseñas, que han sido pulidas en inglés por modelos de lenguaje grande (LLM), y las he marcado todas como «sin IA detectada» o «escritas íntegramente por humanos».

— Ana Marasović (@anmarasovic) 15 de noviembre de 2025

Reviso mis reseñas. El resultado es que 2 han sido editadas moderadamente por IA, 2 en gran medida y 1 ligeramente. Esto se debe a que escribí la reseña en chino y GPT me ayudó a traducirla al inglés. No es un resultado sorprendente. Pero creo que soy un reseñador responsable :) https://t.co/1QoRvF6q2y

— Rising Zhang (张瑞星) (@xing_rui12683) 16 de noviembre de 2025

Ahora confiamos más en la IA para detectar el contenido generado por IA que en el propio contenido generado por IA, jeje.
Para que quede claro, siento un gran respeto por las personas que se han esforzado para hacer posible este análisis.

Por mi propia experiencia: tengo una propuesta en la que las cuatro revisiones… https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 17 de noviembre de 2025

Nos complace compartir contigo esta actualización del producto. Si deseas obtener más detalles técnicos sobre la detección asistida por IA de Pangram 3.0 (EditLens), consulta nuestro artículo de investigación aquí: https://arxiv.org/abs/2510.03154