Informe técnico de Pangram 4

Pangram 4 es nuestro último modelo de detección de texto mediante IA de última generación. En comparación con su predecesor, Pangram 4 muestra una notable mejora a la hora de distinguir entre textos generados íntegramente por IA, textos de autoría mixta y textos asistidos por IA, al tiempo que ofrece una granularidad superior, lo que permite una distinción más precisa entre los segmentos escritos por humanos y los generados por IA dentro de un documento. Además, es resistente a los «humanizadores» y a las indicaciones adversarias, y es significativamente más preciso con los modelos de vanguardia más recientes.

Según nuestra información, Pangram 4 es el primer modelo de detección de IA capaz de diferenciar simultáneamente, en una sola pasada, entre textos redactados con ayuda de la IA y textos redactados de forma mixta por personas y la IA.

Resultados clave:

• En nuestras pruebas comparativas, Pangram 4 identifica correctamente el 99,66 % de los documentos generados por IA, mientras que solo marca los textos escritos por personas como generados por IA en el 0,0041 % de los casos, lo que equivale aproximadamente a un falso positivo por cada 24 000 documentos.
• Pangram 4 mejora a Pangram 3 en ambos aspectos, con casi seis veces menos falsos negativos y catorce veces menos falsos positivos.
• Pangram 4 no confunde el retoque ligero con la IA con la generación por IA: solo en el 0,009 % de los casos clasifica un texto escrito por humanos y retocado con IA como generado íntegramente por IA, lo que supone una reducción de 20 veces con respecto a Pangram 3.
• Al compararlo con 13 herramientas comerciales populares de humanización, Pangram 4 detecta la intervención de la IA en textos humanizados por IA en el 98,83 % de los casos.

Autoría mixta y asistencia mediante IA

Muchos de los documentos escritos que se producen hoy en día ya no encajan claramente en la categoría de «generados íntegramente por IA» o «escritos íntegramente por personas»; más bien, vivimos en una época en la que es plausible que la prosa de un texto y su argumento tengan procedencias diferentes.

Creemos que es importante distinguir esta categoría de documentos tanto de los textos generados íntegramente por IA como de los redactados íntegramente por personas. Esto nos parece importante tanto porque creemos en la transparencia en la autoría como porque, al tratarse de una tecnología popular y emergente, los modelos de lenguaje moldean el mundo de formas que aún no comprendemos del todo —aunque sí tenemos algunos indicios—. Algunas investigaciones indican que el uso de modelos de lenguaje para editar textos altera su estilo de forma cuantificable; por ejemplo, los artículos académicos reescritos por un modelo de lenguaje grande (LLM) tienden a acumular palabras de reserva («puede», «normalmente», «sugiere») y palabras de énfasis («fuerte», «sólido», «consistente»). Estudios relacionados revelan que las modificaciones realizadas por un LLM alteran el significado de un texto incluso cuando se le indica al modelo que corrija únicamente la gramática, y que las revisiones por pares redactadas por un LLM valoran la claridad y la relevancia de forma diferente a como lo hacen los revisores humanos. Por otra parte, hay indicios de que resulta difícil eliminar las huellas de un borrador generado por IA incluso tras una edición exhaustiva: los escritores que adaptan el resultado de un LLM a su estilo personal siguen produciendo textos que se leen más parecidos a la escritura del LLM que a la suya propia.

Para abordar el problema, consideramos dos formas principales de combinar la autoría humana y la de la IA. En el caso de documentos heterogéneos, en los que los segmentos pueden atribuirse claramente a un autor humano o a la IA, Pangram utiliza una predicción por token. Por otro lado, en el caso de un segmento editado de forma iterativa en el que ningún token puede atribuirse de forma definitiva a un único autor humano o a la IA, Pangram marca el segmento como «asistido por IA».

La diferencia entre un texto mixto heterogéneo y uno homogéneo.

Pangram es resistente a los «humanizadores» y a las indicaciones adversarias.

A medida que mejora la tecnología de detección de IA, también lo hace la demanda de software que reescriba el texto generado por IA con el fin de eludir la detección automática. Estas herramientas suelen tener como objetivo burlar la detección en ámbitos en los que la autoría es fundamental, como el mundo académico, la investigación o la edición. Para combatir esto, Pangram 4 cuenta con una función específica para detectar texto «humanizado». Al compararlo con 13 herramientas comerciales populares de «humanización», Pangram identifica la intervención de la IA en los resultados «humanizados» generados por la IA en el 98,83 % de los casos.

Otra estrategia adversaria habitual para eludir la detección es el «prompting adversario», como el humanizador Blader, en el que un usuario indica a un modelo de lenguaje grande (LLM) que se desvíe de su estilo de redacción habitual. Para evaluar nuestro rendimiento en ese ámbito, concedimos a un agente de IA (Codex GPT 5.6 Sol) acceso a la API de Pangram 4 durante 24 horas con el objetivo de generar falsos negativos repetibles.

En su intento, GPT 5.6 probó diversas estrategias, entre ellas la imitación de estilos, los registros profesionales concisos y la precarga de contexto con texto original escrito por humanos. Durante el periodo de prueba, solo logró una única simulación satisfactoria, imitando notas de patología quirúrgica dictadas. Aunque es impresionante, en última instancia consideramos que este intento queda fuera del alcance del estudio, tanto porque la entrada contenía más contexto que la salida, como porque el texto resultante consistía en una lista concisa de puntos clave en lugar de la prosa abierta a la que solemos aspirar.

Formación y arquitectura

A efectos de determinar la autoría, definimos el texto generado por IA como prosa original en lenguaje natural producida por un modelo de lenguaje grande (LLM) en respuesta a una tarea de redacción o una pregunta abierta. Además, exigimos que el LLM aporte tokens originales y excluimos los casos en los que el modelo repita textualmente un texto escrito por un ser humano; por ejemplo, al citar el contexto, recitar contenido memorizado o resumir cadenas de texto introducidas por un ser humano.

Datos de entrenamiento

Hemos entrenado a Pangram 4 con textos escritos tanto por personas como generados por IA, procedentes de una amplia variedad de ámbitos, idiomas y modelos de IA.

Al igual que en versiones anteriores, todos los datos de entrenamiento redactados por personas cuentan con licencia comercial o son propiedad de la empresa. Como siempre, Pangram 4 no se ha entrenado con datos enviados por los usuarios, datos de clientes de usuarios de la API ni datos obtenidos mediante rastreos no autorizados en Internet.

A continuación se muestra una distribución aproximada de los dominios en nuestro conjunto de datos humanos.

Desglose aproximado del texto original en español por categorías.

En lo que respecta a la parte de IA de nuestro conjunto de datos, generamos todos los ejemplos sintéticos internamente utilizando 75 de los modelos más populares, incluidos todos los modelos de OpenAI y Anthropic disponibles en la actualidad. Nuestro objetivo al crear nuestro conjunto de datos sintéticos es proporcionar contexto para ayudar al modelo a aprender cómo se redactó un texto, en lugar de limitarse a asimilar los indicadores de tema, lenguaje o tono propios del texto generado por IA.

Para reducir los falsos positivos en textos escritos por personas con una caligrafía inusual, aplicamos un modelo candidato entrenado a un conjunto de reserva de textos escritos por personas, con el fin de identificar aquellos que el modelo candidato clasifica erróneamente como generados por IA. A continuación, generamos réplicas sintéticas de los elementos mal clasificados y volvemos a entrenar el modelo candidato con el conjunto combinado. A este método lo denominamos «minería de negativos duros».

Arquitectura

Pangram 4 es nuestro modelo más grande hasta la fecha, con seis veces más parámetros que Pangram 3.3. Pangram 4 presenta varios cambios importantes en su arquitectura con respecto a su predecesor. Además, es nuestro primer modelo de «mezcla de expertos», en el que un mecanismo de enrutamiento disperso dirige los diferentes tipos de entradas a distintas partes de la red neuronal. Creemos que este tipo de arquitectura resultará muy adecuada para la detección mediante IA, debido a la amplia variedad de posibilidades de entrada.

Descripción general de la arquitectura Pangram 4.

Mecánica de las predicciones

Con el fin de aumentar la resolución de sus predicciones, Pangram 4 calcula tres puntuaciones para cada token de una cadena de entrada dada, que corresponden a su estimación de si dicho token fue escrito por un humano, asistido por IA o generado por IA. Los documentos más largos se puntúan en ventanas superpuestas de 512 tokens, de modo que, para cada ventana, también obtenemos una puntuación a nivel de ventana junto con una agregación de las puntuaciones a nivel de token. A continuación, se calcula la media de todas las puntuaciones y se suavizan para evitar fluctuaciones espurias en las predicciones de tokens individuales. Este método sustituye al enfoque anterior, que consistía en dividir el texto en fragmentos de forma simplista durante el preprocesamiento, y es lo que nos permite inferir con precisión la frontera entre el contenido generado por IA y el escrito por humanos.

Rendimiento y pruebas de rendimiento

Con el fin de modelar con precisión los casos de uso reales de los modelos de lenguaje a gran escala (LLM), hemos evaluado Pangram 4 con textos escritos por personas, generados por IA y asistidos por IA, utilizando una variedad de pruebas de referencia estándar y complejas.

Falsos positivos

En cuanto a la parte del conjunto de pruebas correspondiente a textos escritos por personas, Pangram 4 se evaluó en un conjunto de 2 millones de documentos con licencia comercial anteriores a 2022 que no se habían utilizado en el entrenamiento del modelo. En esta prueba comparativa, Pangram 4 alcanza una tasa de falsos positivos del 0,0041 %, con un intervalo de confianza del 95 % de (0,0032 %, 0,0050 %). Esto supone un falso positivo por cada 24 000 documentos, aproximadamente.

Falsos negativos en el conjunto de datos generado por IA

Hemos elaborado este conjunto de referencia recopilando las peticiones de los usuarios a partir de las conversaciones de Chatbot Arena; seleccionamos esta colección de peticiones con el fin de reflejar la distribución real de las peticiones que los usuarios envían a los modelos de lenguaje grandes (LLM). A continuación, utilizamos un modelo de lenguaje pequeño (Mistral-Small-24B-Instruct-2501) para filtrar aquellas peticiones que solicitaban ayuda con las matemáticas o la programación, así como las respuestas de opción múltiple, ya que consideramos que estas quedaban fuera del alcance del estudio. Tras el filtrado, nos quedamos con un conjunto completo de 20 000 solicitudes que provocaban respuestas abiertas por parte de los modelos. A partir de cada solicitud de este conjunto, generamos una respuesta para cada uno de los 26 modelos de lenguaje de nuestro conjunto, incluidos GPT-5.5, Claude Opus 4.8 y Gemini 3.1 Pro, lo que supuso un total de 519 993 muestras evaluadas con éxito.

En esta prueba de rendimiento, Pangram 4 alcanza una tasa global de falsos negativos del 0,3396 %, frente a la tasa de falsos negativos (FNR) del 1,99 % que obtuvo Pangram 3 con el mismo conjunto de datos.

Robustez frente a los modelos de frontera

Pangram 4 se aplica de forma generalizada a los modelos de lenguaje de vanguardia: se detecta todas las familias de modelos con una tasa de falsos negativos (FNR) inferior al 0,7 %, y no observamos ninguna correlación significativa entre la fecha de lanzamiento de un modelo y su detectabilidad.

Rendimiento con documentos mixtos y editados

Creamos un conjunto de datos con textos revisados y pulidos por IA para evaluar nuestra tasa de falsos positivos asistidos por IA, es decir, la frecuencia con la que un modelo señala erróneamente como «IA» las modificaciones menores realizadas por la propia IA. Utilizamos productos de consumo (Grammarly, Apple Intelligence y Gemini en Google Docs) y modelos de lenguaje de última generación (Opus 4.8, Gemini 3.1 y GPT-5.5) para aplicar ligeras modificaciones a los textos de los estudiantes procedentes de ELLIPSE, PELIC e ICNALE. Por ejemplo, utilizamos la función «Herramientas de escritura» integrada en el editor de texto Pages de Apple para «corregir» algunos textos, o le indicamos a Opus 4.8 que «corrigiera pequeños problemas de estilo académico manteniendo el borrador reconociblemente humano».

Comparación entre Pangram 3 y Pangram 4 en un fragmento de un documento mixto y heterogéneo. Pangram 4 detecta la IA con una resolución mucho más precisa.

¿Y ahora qué?

Nos complace presentar este modelo, y creemos que es, en la actualidad, el mejor de su clase en todo el mundo. Sin embargo, también nos hemos marcado algunos objetivos.

En primer lugar, esperamos abordar de forma preventiva la deriva de los datos antes de que se convierta en un problema. Actualmente se desconoce durante cuánto tiempo un conjunto de entrenamiento anterior a 2022 seguirá siendo suficiente para generar el tipo de modelos predictivos robustos que exigen nuestros estándares; por ello, encontrar métodos para ampliar nuestro conjunto de entrenamiento creado por humanos es una prioridad máxima —pero, por supuesto, sin comprometer nuestra garantía de un valor de referencia humano para cada documento orgánico con el que entrenamos el modelo—.

A continuación, nos gustaría garantizar la estabilidad de las predicciones de Pangram 4 en distintos contextos. En ocasiones, un fragmento de un texto más extenso recibe predicciones diferentes dependiendo de si se encuentra aislado o integrado en el documento que lo rodea. Es posible que esta situación refleje cómo el contexto adicional proporciona al modelo más información o una señal más clara, pero esperamos poder minimizar este efecto mediante una mejor calibración.

Por último, nos gustaría continuar con nuestro trabajo sobre la interpretabilidad para mejorar nuestra comprensión de la atribución de características, el espacio de incrustación y la identificación de generadores. Se trata de uno de nuestros proyectos más ambiciosos, y estamos deseando compartir nuestros avances en los próximos meses.

Ficha del modelo

Encontrarás toda la información en la ficha del modelo Pangram 4.