¿Qué tal funciona Pangram en los humanizadores? (Actualizado en agosto de 2025)

¿Qué tal funciona Pangram en los humanizadores? (Actualizado en agosto de 2025)

La detección de IA se describe a menudo como una «carrera armamentística» entre grandes modelos lingüísticos, detectores y «humanizadores», que son una clase de herramientas en línea destinadas a ofuscar el texto generado por IA e introducir errores intencionados para que el texto resultante suene humano.

En Pangram, siempre intentamos estar a la vanguardia y reaccionar ante los últimos avances tecnológicos, tanto en nuevos modelos como en humanizadores. Esto nos permite crear una detección de IA que sigue siendo fiable.

En enero de 2025, publicamos una actualización de nuestro informe técnico en el que auditamos 19 herramientas diferentes de humanización y parafraseo. Las conclusiones principales fueron:

• Pangram es resistente a los humanizadores y parafrasadores.
• Algunos humanizadores añaden manualmente errores en el espaciado y la puntuación y realizan sustituciones de sinónimos uno a uno.
• Otros humanizadores son modelos de lenguaje grande (LLM) ajustados que están entrenados para parafrasear el texto con un estilo humano.
• Cuanto más legible y fluido sea el texto humanizado, más probable será que Pangram lo detecte.
• En otras palabras, los humanizadores «buenos» en términos de fluidez son más detectables, y los humanizadores «malos» son menos detectables.

Sin embargo, el panorama de los humanizadores está evolucionando rápidamente, por lo que queríamos publicar cifras actualizadas sobre nuestro último benchmark de humanizadores.

Resultados actualizados del humanizador de Pangram

Pangram obtiene un rendimiento superior al 90 % en todos los humanizadores destacados que hemos probado.

¿Cómo se compara Pangram con otros detectores de IA en textos de IA humanizados?

En Russell et. al., Pangram se compara con GPTZero y varios métodos de código abierto en texto humanizado. El mejor modelo de Pangram tiene una precisión del 97 % en texto humanizado, en comparación con el 46 % de GPTZero, el 23 % de FastDetectGPT y el 7 % de Binoculars.

Rendimiento de Pangram en texto humanizado en comparación con otros detectores

Un estudio muy reciente realizado por Jabarian e Imas reveló que Pangram es el único detector entre cuatro detectores comerciales cuyo rendimiento es resistente a los humanizadores:

En pasajes más largos, Pangram detecta casi el 100 % del texto generado por IA. El FNR aumenta ligeramente a medida que los pasajes se acortan, pero sigue siendo bajo. Los demás detectores son menos robustos frente a los humanizadores. El FNR de Originality.AI aumenta hasta alrededor de 0,05 para textos más largos, pero puede alcanzar hasta 0,21 para textos más cortos, dependiendo del género y del modelo LLM. GPTZero pierde en gran medida su capacidad para detectar texto generado por IA, con puntuaciones FNR de alrededor de 0,50 y superiores en la mayoría de los géneros y modelos LLM. RoBERTa obtiene resultados igualmente malos, con puntuaciones FNR altas en todos los casos.

¿Cómo se puede saber si un texto ha sido humanizado?

Hay varias formas de saber a simple vista que un texto ha sido procesado por un humanizador.

Frases torturadas

Una de las formas más fáciles de detectar un humanizador es buscar «frases tortuosas», que son sustituciones de sinónimos fuera de lugar destinadas a disimular el plagio. Las herramientas de giro de palabras, como Grammarly y Quillbot, han estado utilizando estos algoritmos de sustitución de sinónimos incluso antes de la IA para disimular el plagio.

Algunos ejemplos de frases forzadas serían «conciencia falsificada» en lugar de «inteligencia artificial», o «peligro en el pecho» en lugar de «cáncer de mama». El año pasado nos enteramos de un caso curioso en el que aparecía «Martin Luther Ruler, Jr.» en un ensayo de un estudiante en lugar de «Martin Luther King, Jr.».

Es importante tener cuidado con el uso de frases forzadas como única forma de detectar texto de IA humanizado, ya que las frases forzadas también suelen aparecer en textos escritos en inglés por hablantes no nativos cuando estos utilizan incorrectamente o malinterpretan el significado directo o el uso típico de ciertas palabras.

Errores de espaciado antinatural

Los humanizadores suelen intentar engañar al tokenizador de los detectores de IA añadiendo o eliminando espacios. Es especialmente habitual la eliminación de espacios entre frases.

Frases repetitivas

El texto generado por IA humanizada sigue mostrando las mismas frases repetitivas que el texto generado por IA no humanizada. Es especialmente revelador que el texto provenga de un humanizador si la misma frase forzada aparece dos veces en el mismo documento, ya que es una prueba de que el humanizador está aplicando sistemáticamente los mismos sustitutos sinónimos.

Caracteres no estándar

Los humanizadores también suelen utilizar caracteres Unicode no estándar para engañar a los tokenizadores de los detectores de IA. Un ejemplo de ello es un popular humanizador que utiliza «U+2009», que es el carácter Unicode para «espacio fino» en lugar de un espacio normal. Recomendamos este sitio web https://www.soscisurvey.de/tools/view-chars.php, que permite ver todos los caracteres no imprimibles que pueden estar ocultos en cadenas copiadas y pegadas.

Ejemplo de caracteres no imprimibles en texto humanizado

Herramientas para el proceso de escritura

Con la nueva función Writing Playback de Pangram en Google Docs, también puedes comprobar si una parte significativa del texto de un documento de Google se ha copiado y pegado en lugar de escribirse manualmente. Puedes encontrar una explicación más detallada sobre la detección de IA en Google Docs aquí.

Ejemplo de reproducción de escritura que muestra copiar y pegar

¿Por qué Pangram no es 100 % preciso en textos de IA humanizados?

Hay varias razones por las que Pangram no es un detector perfecto para textos de IA humanizados.

1. Pangram no está dispuesto a transigir en lo que respecta a su tasa de falsos positivos. Varios de nuestros modelos internos son capaces de detectar humanizadores con una precisión casi perfecta, pero presentan tasas de falsos positivos más elevadas. No comercializamos estos modelos porque para nosotros es más importante que los textos escritos por humanos nunca sean marcados como IA que detectar todos los resultados de los humanizadores.

2. El texto «basura» de muy baja calidad es fácilmente detectable a simple vista. En la mayoría de los casos en los que Pangram no detecta la salida humanizada, el texto está tan distorsionado y ofuscado que apenas se parece al inglés. Estos casos son fáciles de detectar a simple vista, pero difíciles de detectar algorítmicamente, ya que hay infinitas formas de producir texto sin sentido. Preferimos descartar el texto sin sentido antes que intentar detectarlo, ya que ni siquiera es posible distinguir el texto sin sentido humano del texto sin sentido humanizado.

¿Puedo esperar que Pangram mejore su rendimiento humanizador con el tiempo?

Sí, la detección de humanizadores es un área de investigación activa para Pangram y esperamos seguir caracterizando las propiedades de estos humanizadores y dar a conocer nuestra investigación sobre la detección de los resultados de los humanizadores. Para que Pangram sea considerado una herramienta fiable en materia de integridad académica, debemos ser capaces de detectar tanto los textos producidos por estas herramientas de trampa como los textos copiados y pegados directamente de grandes modelos lingüísticos.

Prueba el detector de IA de Pangram para comparar tus propios documentos con los resultados de Humanizer.