Pangram 3.0: cuantificación del alcance de la edición mediante IA en textos

*Nota: Nuestro nuevo modelo, Pangram 3.0, se basa en nuestra investigación publicada: EditLens: Cuantificación del alcance de la edición con IA en textos.

La rápida adopción de grandes modelos lingüísticos (LLM) como ChatGPT, Claude y Gemini ha transformado la forma en que escribimos, revisamos e interactuamos con el texto. Un estudio reciente de OpenAI reveló que dos tercios de todas las consultas relacionadas con la escritura que se realizan a ChatGPT solicitan al modelo que modifique el texto proporcionado por el usuario en lugar de generar texto desde cero. Los usuarios piden cada vez más a los modelos que mejoren la gramática, reestructuren los argumentos o cambien el tono, partiendo de un borrador escrito por humanos.

¿Qué significa el auge de los textos redactados por humanos pero editados por IA para las herramientas de detección de IA? Muchas de las herramientas existentes están diseñadas para clasificar el texto en un máximo de tres categorías: totalmente humano, totalmente IA o mixto. Este marco no distingue entre un párrafo con correcciones gramaticales realizadas por un LLM y un párrafo ampliado por un modelo para añadir detalles.

Para capturar completamente el espectro de las ediciones de IA en el texto, presentamos Pangram 3.0, un modelo diseñado para cuantificar la magnitud de la participación de la IA en la creación de un texto. En lugar de devolver una categorización de totalmente humano, totalmente IA o mixto, Pangram genera una puntuación correspondiente a la «fuerza» de la intervención de la IA.

Autoría mixta homogénea frente a heterogénea

Pangram 3.0 aborda el caso de lo que llamaremos textos de autoría mixta homogénea. Analicemos la diferencia entre autoría mixta homogénea y heterogénea.

En el caso heterogéneo, la autoría de cada segmento de texto puede atribuirse directamente a un humano o a una IA. En el ejemplo siguiente, un humano comienza a escribir una reseña y luego le pide a ChatGPT que la complete. En casos como este, existen uno o más límites entre los segmentos humanos y los de IA. Se podría etiquetar cada frase o incluso cada palabra según quién la haya producido: un humano o una IA. La detección de texto mixto heterogéneo (también llamada detección de texto de IA de grano fino) ha sido estudiada anteriormente por Kushnareva et al. (2024), Wang et al. (2023) y Lei et al. (2025).

En el caso homogéneo, la autoría se ve afectada por el proceso de edición. Siguiendo con nuestro ejemplo de la reseña del restaurante, se produciría un texto mixto homogéneo si un humano escribiera una reseña breve, pero le pidiera a ChatGPT que le añadiera detalles. En este caso, es imposible separar las palabras escritas por el humano de las escritas por la IA: la IA ha reformulado el texto humano con nuevas palabras, pero el significado y las ideas detrás del texto provienen directamente del borrador humano (consideremos un caso en el que un autor humano parafrasea a otro sin citarlo: ¡este es un caso clásico de plagio!).

Figura 2: Ejemplo de texto de autoría mixta heterogénea entre humanos e IA (izquierda) y texto de autoría mixta homogénea (derecha).

Cada uno de los tres textos editados de la figura 1 es un ejemplo de autoría mixta homogénea. A partir de estos tres ejemplos, podemos observar que existe una clara diferencia entre el texto generado por la indicación «Corregir cualquier error» y el texto generado por la indicación «Hacerlo más descriptivo». Esta diferencia es especialmente notable cuando comparamos los textos generados con el texto original escrito por humanos, pero con Pangram 3.0 damos un paso hacia la cuantificación de esa diferencia cuando solo disponemos del texto editado, para que los usuarios puedan comprender mejor el grado de penetración de la IA en un texto determinado.

Creación de un conjunto de datos editado por IA

Para entrenar un modelo que determinara el grado de edición mediante IA presente en un texto, necesitábamos crear un conjunto de datos de entrenamiento compuesto por textos editados mediante IA etiquetados con el grado de edición mediante IA presente en cada texto. Tomamos muestras de textos originales escritos íntegramente por humanos de conjuntos de datos de código abierto de diferentes ámbitos: noticias, reseñas, artículos educativos en la web y sugerencias de escritura de Reddit. A continuación, aplicamos 303 indicaciones de edición diferentes, como «Hazlo más descriptivo» o «¿Puedes ayudarme a que mi ensayo obtenga una mejor nota?», utilizando tres LLM comerciales diferentes: GPT-4.1, Claude Sonnet 4 y Gemini 2.5 Flash. Por último, generamos una versión totalmente generada por IA (también llamada «espejo sintético», véase el informe técnico de Pangram) de cada texto escrito por humanos. Nuestro conjunto de datos final tiene 60 000 ejemplos de entrenamiento, 6000 de prueba y 2400 de validación.

¿Cómo determinamos el grado de edición de un texto por parte de la IA?

Como tenemos acceso al texto original sin editar durante la creación del conjunto de datos, pudimos medir la cantidad de edición de IA presente en el texto comparando el texto original y su versión editada por IA. Utilizamos una métrica de similitud textual llamada distancia coseno para estimar cuánto cambió la IA el texto original escrito por humanos en una escala de 0 a 1, asignando una puntuación de 0 a los textos escritos íntegramente por humanos y una puntuación de 1 a los textos generados íntegramente por IA. Para validar que esta puntuación se corresponde con la percepción humana de la edición mediante IA, realizamos un estudio en el que contratamos a tres expertos con amplia experiencia en textos generados por IA y les pedimos que eligieran cuál de dos textos editados por IA estaba más editado por IA. Nuestro estudio reveló que los anotadores estaban en general de acuerdo con nuestra elección de la métrica de similitud textual.

Entrenamiento de un modelo para predecir ediciones de IA

Una vez que tuvimos nuestro conjunto de datos etiquetados, llegó el momento de entrenar un modelo. Nuestro modelo se entrena solo con los textos editados por IA, lo que refleja cómo un usuario utilizaría Pangram 3.0: un profesor interesado en saber cuánto ha utilizado la IA su alumno solo tendrá el trabajo entregado por el alumno, sin borradores previos. Dado un texto, nuestro modelo está entrenado para predecir la puntuación de edición por IA que le asignamos en la sección anterior. La figura 3 ilustra las entradas y salidas de nuestro modelo tanto en el momento del entrenamiento como en el de la prueba.

Detección de asistencia con IA en la práctica

Aquí hay un párrafo escrito por un humano sobre el autor Kazuo Ishiguro:

Leer las obras del autor británico Kazuo Ishiguro es experimentar frustración en muchos niveles diferentes. La genialidad de la frustrante escritura de Ishiguro reside en que, independientemente del nivel de implicación emocional del lector con los personajes y la trama, la frustración abunda. A nivel del lenguaje en sí, el lector encuentra repeticiones, prolijidad y una generosa salpicadura de adjetivos calificativos. Ishiguro me ha condicionado a tener una reacción física adversa cada vez que uno de sus personajes dice algo como «Seré breve». Todos los narradores son empleados, pero ninguno es un narrador profesional. La información se difunde de forma lenta, imprecisa y fuera de orden cronológico. Esto priva al lector de datos concretos que faciliten la comprensión de la trama.

Así es como Pangram 3.0 caracteriza las versiones editadas por IA de este párrafo de ChatGPT después de aplicar diferentes indicaciones:

Estudio de caso de Grammarly

Grammarly es un asistente de escritura basado en inteligencia artificial y disponible mediante suscripción que permite a los usuarios editar directamente el texto utilizando modelos de lenguaje grande (LLM) dentro de su procesador de textos nativo. Recopilamos un conjunto de datos en el que utilizamos Grammarly para aplicar nueve de las sugerencias de edición predeterminadas a 197 textos escritos por humanos. Entre ellas se incluían sugerencias como «Simplifícalo», «Hazlo más fluido» y «Hazlo más descriptivo». A continuación, puntuamos todos los textos editados utilizando Pangram 3.0. En la figura 4, presentamos las distribuciones de las puntuaciones de la asistencia de IA agrupadas por sugerencia de edición. Podemos ver que, aunque pueda parecer contradictorio, Pangram 3.0 considera que «Corregir cualquier error» es la edición más leve, mientras que «Resumirlo» y «Hacerlo más detallado» se consideran ediciones mucho más invasivas.

Figura 4: Distribución de las puntuaciones de Pangram 3.0 (EditLens) en un conjunto de datos recopilados de Grammarly. Las puntuaciones se agrupan según la edición aplicada. Todas las ediciones son opciones predeterminadas disponibles en el procesador de textos de Grammarly.

La puntuación de asistencia de IA aumenta a medida que aplicas más ediciones de IA.

Realizamos un experimento en el que aplicamos 5 ediciones LLM al mismo texto y volvimos a puntuar el texto con Pangram 3.0 después de cada edición. En la figura 5, podemos ver que, en general, la puntuación de asistencia de la IA (EditLens) aumenta a medida que aplicamos cada edición progresiva.

Figura 5: Puntuaciones de Pangram 3.0 tras cada una de las 5 ediciones progresivas de IA en el mismo documento.

Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) Estudio de caso

En noviembre, los investigadores en IA expresaron su preocupación por la gran proporción de trabajos y revisiones por pares sospechosos de haber sido generados por IA en la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR), una de las conferencias más importantes en el campo de la IA y el aprendizaje automático. El profesor Graham Neubig, de la Universidad Carnegie Mellon, ofreció una recompensa a cualquiera que realizara una detección de IA en los trabajos y revisiones presentados a la ICLR de este año, y en Pangram aceptamos encantados.

Como parte de este análisis, ejecutamos Pangram 3.0 en todas las revisiones por pares que se habían enviado a ICLR en este ciclo de revisión, así como en las revisiones enviadas en 2022, para comprobar nuestra tasa de falsos positivos (FPR). En las revisiones de 2022, Pangram 3.0 tuvo una FPR de aproximadamente 1 en 1000 en «Ligeramente editado frente a totalmente humano», una FPR de 1 en 5000 en «Moderadamente editado frente a totalmente humano» y una FPR de 1 en 10 000 en «Fuertemente editado frente a totalmente humano». No encontramos confusiones entre «Totalmente generado por IA» y «Totalmente humano». En las revisiones de este año, Pangram 3.0 descubrió que más de la mitad de las revisiones contenían algún tipo de asistencia de IA. La figura 6 muestra la distribución de las puntuaciones de Pangram 3.0 en todas las revisiones de ICLR de 2026.

Figura 6: Distribución de las predicciones de Pangram 3.0 en 2026 revisiones de ICLR.

Para obtener más información sobre nuestra metodología y resultados, consulte la entrada del blog que escribimos sobre nuestro análisis.

¿Cómo gestiona Pangram 3.0 los textos asistidos por IA escritos por hablantes no nativos de inglés?

Publicamos los resultados de nuestro análisis y las puntuaciones de Pangram 3.0 para todas las reseñas, lo que permitió a los revisores comprobar cómo Pangram 3.0 puntuaba las reseñas que escribían. En consecuencia, pudimos recibir comentarios anecdóticos sobre el rendimiento de Pangram 3.0 en textos del mundo real.

Un tema común entre las respuestas en X a nuestro análisis fue la pregunta de cómo AI Assistance puntúa los textos escritos por hablantes no nativos de inglés que luego utilizan LLM para traducir o pulir sus textos escritos por humanos. A continuación, compartimos algunas respuestas de los revisores, que en general estuvieron de acuerdo con la caracterización que Pangram hizo de sus revisiones:

Revisé mis reseñas, que han sido pulidas en inglés por modelos de lenguaje grande (LLM), y las marqué todas como «sin IA detectada / escritas íntegramente por humanos».

— Ana Marasović (@anmarasovic) 15 de noviembre de 2025

Reviso mis reseñas. El resultado es 2 moderadas editadas por IA, 2 muy editadas y 1 ligeramente editada. Como escribí la reseña en chino, gpt me ayuda a traducirla al inglés. No es un resultado sorprendente. Pero creo que soy un reseñador responsable :) https://t.co/1QoRvF6q2y

— Rising Zhang (张瑞星) (@xing_rui12683) 16 de noviembre de 2025

Ahora confiamos más en la IA para detectar contenido generado por IA que en el propio contenido generado por IA, jaja.
Para que quede claro, respeto totalmente a las personas que se esfuerzan por hacer posible este análisis.

Por mi propia experiencia: tengo una propuesta en la que las cuatro reseñas... https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 17 de noviembre de 2025

Nos complace compartir con ustedes esta actualización del producto. Para obtener más detalles técnicos sobre la detección de asistencia con IA (EditLens) de Pangram 3.0, consulte nuestro artículo de investigación aquí: https://arxiv.org/abs/2510.03154