¿Es correcto el pangram?

La precisión es una medida de la eficacia con la que Pangram clasifica correctamente un texto como generado por IA, asistido por IA o escrito por un ser humano. La precisión viene determinada por dos tipos diferentes de errores, cada uno de los cuales se mide por separado:

1. Tasa de falsos negativos: la frecuencia con la que Pangram pasa por alto un documento escrito por IA o con ayuda de IA, y lo clasifica erróneamente como escrito por un ser humano.
2. Tasa de falsos positivos: la frecuencia con la que Pangram clasifica erróneamente un documento escrito por una persona como generado por IA o asistido por IA

Pangram es una herramienta que realiza predicciones estadísticas. Hemos ajustado deliberadamente Pangram para que tienda más a generar falsos negativos que falsos positivos; hemos tomado esta decisión porque, aunque un falso negativo ocasional puede resultar molesto, un falso positivo puede causar un daño real.

Si detectas un falso positivo o un falso negativo, puedes notificarlo a través de nuestro formulario de comentarios. Los informes de los usuarios se utilizan únicamente para la revisión manual y el diagnóstico; nunca utilizamos los datos de los usuarios para el entrenamiento de modelos ni para comparativas.

¿Cómo se mide la precisión de Pangram?

Para medir la precisión de Pangram, se somete a pruebas con grandes conjuntos de datos de documentos en los que cada elemento tiene un autor conocido, ya sea humano, una IA o una combinación de ambos. Para garantizar que las pruebas comparativas arrojen resultados fiables, nunca entrenamos los modelos con nuestros conjuntos de pruebas, ni realizamos pruebas comparativas con textos en los que la verdad de referencia sea incierta.

La precisión de Pangram se comprueba tanto a nivel interno, por nuestra parte, como por investigadores externos. Siempre estamos buscando más evaluadores independientes: si eres investigador y te interesa ponernos a prueba, ¡ofrecemos subvenciones en forma de crédito! Ponte en contacto con nosotros para solicitar una subvención para la API.

Conjuntos de referencia

Probamos Pangram con muchos tipos diferentes de datos, entre los que se incluyen contenidos redactados por personas, generados por IA, asistidos por IA y mixtos (redactados por personas y generados por IA).

Nuestros datos de referencia, redactados por personas, se componen de textos con licencia comercial y de autoría propia que abarcan una amplia variedad de géneros y ámbitos. Nunca utilizamos como referencia datos procedentes de textos enviados por los usuarios ni de contenidos pirateados.

Queremos que nuestros conjuntos de referencia generados por IA reflejen la mayor variedad posible de aplicaciones reales de la escritura generada por IA. Por eso, nuestro principal conjunto de referencia generado por IA se crea a partir de un conjunto de solicitudes de escritura abiertas que hemos obtenido del conjunto de datos LMSYS-Chat-1M, compuesto por conversaciones anonimizadas de modelos de lenguaje a gran escala (LLM).

También realizamos pruebas comparativas con varios conjuntos de datos de acceso público recopilados por investigadores externos; para obtener más información, consulta las pruebas comparativas de terceros en la ficha del modelo Pangram 4.

El rendimiento del pangram en distintos tipos de escritura

La tasa de falsos positivos objetivo de Pangram es del 0,01 %, es decir, 1 de cada 10 000. En nuestras pruebas comparativas internas, Pangram 4 obtiene unos resultados ligeramente mejores, con aproximadamente 41 falsos positivos por cada 1 000 000 de documentos, lo que supone una tasa de falsos positivos observada del 0,0041 %. Nuestra tasa de falsos negativos, calculada a partir de casi 520 000 documentos generados por IA, fue del 0,3396 %.

Todas nuestras pruebas comparativas utilizan una definición estricta de «falso positivo» y «falso negativo»: cualquier segmento escrito por una persona que se marque como generado por IA o asistido por IA —aunque sea una pequeña fracción del texto total— se considera un falso positivo. Del mismo modo, en el caso de los documentos generados por IA, cualquier segmento, por pequeño que sea, que se marque como escrito por una persona o asistido por IA se considera un falso negativo para el documento en su conjunto.

Para garantizar la fiabilidad de nuestras pruebas comparativas, evaluamos el rendimiento de Pangram con una amplia variedad de textos, tanto escritos por personas como generados por IA. A continuación, encontrarás información sobre el rendimiento de Pangram en distintos ámbitos y géneros, modelos de IA y tipos de texto.

Ámbito y género

El estilo, la técnica y la estructura de la escritura varían según los distintos tipos de texto, como los ensayos, la ficción o el periodismo, y la evaluación comparativa a alto nivel puede ocultar las tasas de error de ámbitos concretos. Por eso desglosamos nuestras evaluaciones comparativas en subconjuntos específicos de cada ámbito y examinamos tanto las tasas de falsos positivos como las de falsos negativos en cada uno de esos subconjuntos.

Tasa de falsos positivos por dominio

Analizamos una variedad de fragmentos escritos por personas para comprobar si alguno de ellos presenta una tasa desproporcionada de falsos positivos. En general, nuestro rendimiento en nuestros principales casos de uso es bastante bueno, incluyendo la redacción creativa, académica y científica.

En este desglose por ámbitos, las reseñas de Amazon, las noticias y los artículos prácticos incluyen datos en varios idiomas.

La poesía presentó la tasa de falsos positivos más alta de entre todos los ámbitos: los poemas son más difíciles de clasificar porque suelen ser breves y presentar una estructura muy marcada. Aunque la tasa de falsos positivos sigue siendo bastante baja, recomendamos un análisis más minucioso de este tipo de textos.

Tasa de falsos negativos por dominio

Se ha evaluado a Pangram 4 en cuanto a su capacidad para detectar una amplia variedad de textos generados por IA, incluyendo textos académicos como ensayos, trabajos de investigación y artículos científicos, así como textos creativos y de ficción.

También se probó con una muestra aleatoria de respuestas generadas por IA a solicitudes de usuarios anonimizadas, procedentes de solicitudes reales de modelos de lenguaje a gran escala (LLM) del conjunto de datos LMSYS-Chat-1M. Estas solicitudes incluían textos científicos y técnicos, textos creativos y textos de carácter empresarial.

Modelos de IA nuevos y diferentes

No todos los modelos de IA escriben de la misma manera. Con motivo del lanzamiento de Pangram 4, utilizamos el conjunto de datos LMSYS-Chat-1M para generar 20 000 ejemplos a partir de 26 modelos de lenguaje habituales, lo que supuso un total de 520 000 muestras. A continuación se muestra la tasa de falsos negativos de 15 de esos modelos; puedes consultar la tabla completa en la ficha del modelo Pangram 4.

Los modelos de IA tampoco son estáticos. Constantemente se lanzan nuevos modelos de IA, y las empresas del sector se centran en el estilo y la calidad de la redacción de los nuevos lanzamientos, por lo que es razonable esperar que el estilo y la voz de los modelos sigan evolucionando. Para mantenernos al día, realizamos una prueba comparativa más reducida con cada nuevo modelo a medida que se lanza y la publicamos en nuestro blog entre los lanzamientos de nuestros propios modelos.

Pangram sigue ofreciendo buenos resultados, incluso con modelos desconocidos, ya que los nuevos modelos heredan gran parte de su estilo de escritura de sus predecesores. Puedes leer nuestra última publicación sobre pruebas comparativas de modelos, «¿Puede Pangram detectar Claude Sonnet 5.5?», aquí, y descubrir cómo Pangram consigue una baja tasa de falsos negativos en modelos desconocidos aquí.

Autoría compartida

El texto no es binario: no todos los documentos están generados íntegramente por IA ni escritos por completo por un ser humano. A menudo, la IA y la autoría humana se entrelazan a través de procesos iterativos de edición, perfeccionamiento y otros intercambios. Lo ideal sería que Pangram fuera capaz de distinguir entre un documento colaborativo y uno que se haya generado con una supervisión humana mínima, y que reflejara esa diferencia en los resultados de la detección.

La etiqueta que se aplique dependerá del grado de intervención de la IA en la elaboración del documento. Por ejemplo, las intervenciones ligeras de la IA, como la corrección ortográfica o la revisión del texto, suelen conservar la etiqueta «totalmente humano», mientras que las reescrituras más sustanciales, como las sugerencias de cambios en la redacción y la formulación para mayor claridad, suelen recibir la etiqueta «con ayuda de la IA». Por otro lado, las reescrituras extensas realizadas por la IA podrían etiquetarse como «generadas por la IA».

La etiqueta también debería depender de cómo se combinen la IA y la redacción humana. Por ejemplo, mantener un intercambio con una IA para reescribir un párrafo se etiquetaría como «asistido», mientras que pedirle a una IA que amplíe una afirmación escrita por un humano para convertirla en un párrafo más extenso con pruebas que la respalden recibiría la etiqueta de «contenido mixto generado por humanos y por IA», lo que reflejaría que las distintas secciones tienen autores distintos.

Para abarcar todas estas diferentes formas de utilizar la IA en la redacción, evaluamos Pangram en conjuntos de datos con distintos niveles de intervención de la IA.

Pangram ofrece buenos resultados con textos asistidos y editados por IA. Por precaución, Pangram se decanta por el texto escrito por humanos cuando se encuentra con textos mixtos.

Varios autores

Hemos evaluado Pangram para detectar posibles sesgos contra escritores de orígenes diversos. En un conjunto de datos compuesto por 25 996 redacciones escritas por alumnos con diferentes tipos de discapacidad, género, cursos, orígenes étnicos, nivel de dominio del inglés y situación económica, Pangram no dio ningún falso positivo. Consulta el desglose completo de los resultados sobre las redacciones de alumnos de diversos orígenes.

Un estudio analizó el rendimiento de Pangram 4 en 143 755 documentos, incluidos 85 887 documentos de autores autistas, y concluyó que Pangram no mostraba ningún sesgo apreciable. Entre los 89 903 documentos anteriores a 2022 escritos tanto por autores neurodiversos como por autores del grupo de control, Pangram 4 presentó una tasa de falsos positivos del 0,0011 %. Puedes leer el estudio independiente completo sobre autores neurodiversos.

Además del inglés, Pangram es compatible con el árabe, el chino, el checo, el neerlandés, el francés, el alemán, el griego, el hindi, el húngaro, el italiano, el japonés, el coreano, el persa, el polaco, el portugués, el rumano, el ruso, el español, el sueco, el turco, el ucraniano, el urdu y el vietnamita.

Para consultar los resultados de las pruebas comparativas por idioma, véase la tasa de falsos positivos de Pangram por idioma compatible.

Limitaciones

Texto breve

Pangram está diseñado para detectar texto generado por IA en prosa en lenguaje natural de 50 palabras o más, escrito principalmente en frases completas. Pangram ofrece mayor fiabilidad en fragmentos de texto más largos, ya que estos proporcionan al detector de IA más información para realizar predicciones precisas.

A continuación, puedes ver un desglose del rendimiento de Pangram con textos de diferente longitud. Debido a la relación entre falsos positivos y falsos negativos, muchos de los errores que se observan en los textos cortos serán falsos negativos.

Otras limitaciones

Hay algunos tipos de texto que, por el momento, consideramos que quedan fuera del ámbito de aplicación y para los que Pangram puede ofrecer resultados menos fiables. Entre ellos se incluyen:

• Código, marcado o Markdown
• Traducciones con IA y traducciones automáticas, como el Traductor de Google
• Partes preliminares del documento, incluidas las tablas de contenido y las portadas
• Anexos del documento, como índices o listas de referencias
• Texto de una figura, como las etiquetas de los ejes o los datos de una tabla
• Notación matemática
• Texto con mucho formato, como poesía o recetas

Buenas prácticas

• Para obtener los mejores resultados, se deben eliminar los encabezados, pies de página, instrucciones y demás elementos superfluos escritos a mano antes de escanear un documento.
• Se recomienda utilizar archivos de texto sin formato y archivos .docx en lugar de PDF siempre que sea posible, ya que el análisis de los archivos PDF puede, en ocasiones, generar artefactos no deseados. Los resultados en formato PDF deben revisarse siempre dos veces.

Preguntas frecuentes

¿Por qué se miden por separado la tasa de falsos positivos y la tasa de falsos negativos?

La precisión se mide ejecutando Pangram en un conjunto de textos de ejemplo y comparando la etiqueta asignada con la etiqueta que sabemos que tiene el documento. Por lo tanto, la tasa de falsos negativos y la tasa de falsos positivos son medidas de dos cosas diferentes:

• La tasa de falsos negativos nos permite saber lo siguiente: dado un documento generado por IA, ¿qué probabilidad hay de que Pangram lo clasifique como escrito por un humano?
• La tasa de falsos positivos nos permite saber lo siguiente: dado un documento redactado por un ser humano, ¿qué probabilidad hay de que Pangram lo clasifique como «IA»?

No existe una tasa de falsos positivos en un conjunto de documentos redactados por IA, ya que cualquier etiqueta positiva (IA) que Pangram asignara a un elemento de dicho conjunto no sería un falso positivo; por definición, sería un verdadero positivo. Por eso es necesario medir y comunicar por separado las tasas de falsos positivos y falsos negativos.

¿Por qué Pangram analiza textos cortos si su precisión es menor en ellos?

La tasa de falsos positivos de Pangram en textos de entre 50 y 100 palabras es del 0,02 %, es decir, aproximadamente 1 de cada 5.000. Aunque esta cifra es lo suficientemente alta —y los textos breves en Internet son lo suficientemente numerosos— como para que el usuario medio pueda encontrarse con un falso positivo en un texto breve durante su uso habitual, sigue siendo lo suficientemente baja como para que creamos que Pangram puede proporcionar información útil la mayor parte del tiempo.

Siempre recomendamos escanear el fragmento más largo del documento del que se disponga. Cuantas más palabras haya, más información tendrá Pangram para realizar una predicción, por lo que la precisión mejora a medida que aumenta el número de palabras.