Evaluaciones de pangramas realizadas por terceros

Creemos que es importante que las instituciones puedan confiar en la alta precisión de Pangram; por ello, fomentamos la verificación por parte de terceros de nuestros indicadores de calidad (falsos positivos y falsos negativos). A continuación, destacaremos las evaluaciones de Pangram realizadas por investigadores de la Universidad de Chicago (UChicago) y la Universidad de Maryland (UMD), así como por revisores del sector privado.

Conclusión clave: Las pruebas internas de Pangram resisten el escrutinio de terceros.

Fiabilidad y precisión del pangram (Universidad de Chicago)

Experimento

En el Instituto Becker Friedman de Economía de la Universidad de Chicago, los investigadores compararon cuatro detectores de IA: Pangram, GPTZero, Originality AI y RoBERTa (un detector de IA de código abierto). El estudio utilizó cada uno de estos detectores para analizar 1.992 textos escritos por humanos antes de 2020 y 1.992 textos generados por IA, abarcando diferentes géneros y recuentos de palabras. Se analizaron dos tipos de errores en la detección de IA: las tasas de falsos positivos y las tasas de falsos negativos. Estas tasas se compararon para múltiples umbrales. Los detectores también clasificaron textos generados por IA a partir de modelos de lenguaje grandes (LLM) populares como ChatGPT, Claude y Gemini. Los investigadores establecieron múltiples límites máximos de la política de FPR entre los detectores para observar los cambios en la FNR.

Resultados

Del estudio «Escritura artificial y detección automatizada », de Brian Jabarian y Alex Imas, de agosto de 2025:

Pangram supera a los demás detectores en todos los umbrales.

Pangram es el único detector que cumple con un límite estricto establecido por la política (FPR ≤ 0,005) sin comprometer la capacidad de detectar con precisión el texto generado por IA.

Pangram sigue siendo el líder en cuanto a bajo coste en todos los géneros y, de media, cuesta 0,0228 dólares por pasaje detectado correctamente por IA, frente a los 0,0416 dólares de OriginalityAI y los 0,0575 dólares de GPTZero, lo que convierte a Pangram en el detector más rentable tanto para pasajes completos como para fragmentos.

El estudio reveló que:

Pangram alcanza tasas de falsos positivos y falsos negativos prácticamente nulas en fragmentos de longitud media a larga.

La alta precisión de Pangram fue elogiada en distintos tipos de textos, como blogs, reseñas, currículos, noticias y novelas. En textos más breves, las tasas de falsos positivos y falsos negativos aumentan ligeramente, «pero se mantienen muy por debajo de los umbrales razonables establecidos».

Los investigadores de la Universidad de Chicago destacaron el rendimiento superior de Pangram en comparación con otros detectores de IA disponibles. Cuando se les asignó un límite de FPR de 0,0001, «ni GPTzero ni Originality.AI obtienen buenos resultados con el límite de FPR más estricto... Pangram sigue alcanzando una tasa de FNR de alrededor de 0,01 en la mayoría de los modelos LLM».

Pangram ya no ofrece predicciones para textos de menos de 50 palabras, pero, tal y como se señala en el estudio,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Actuación de Pangram frente a los Humanizers (Universidad de Maryland)

Experimento

En el Experimento 1 de este estudio de la UMD, se recurrió a anotadores con distintos niveles de conocimiento sobre los modelos de lenguaje grande (LLM) para predecir si un texto había sido generado por IA o no. Tras observar que un anotador era casi perfecto a la hora de identificar textos generados por IA, se recurrió a otros cuatro anotadores expertos con una experiencia similar en el uso de los LLM para clasificar la misma muestra de 60 textos. Los resultados de las votaciones de los expertos se compararon con detectores comerciales como Pangram, Pangram Humanizer y GPTZero, así como con herramientas de código abierto como Fast-DetectGPT. Durante este proceso, se comparó Pangram con otros detectores.

El rendimiento constante de Pangram frente a textos parafraseados y humanizados

Resultados

Pangram es capaz de detectar con precisión el texto generado por IA y humanizado. Así lo confirman los informáticos de la UMD, quienes han señalado que Pangram obtuvo la puntuación global más alta en la detección de humanizadores y texto parafraseado, superando a otros programas de detección de IA con una precisión del 99,3 %.

Descubre más sobre cómo se comporta Pangram frente a los humanizadores

Evaluaciones de pangramas fuera de las instituciones de investigación

Amanda Caswell, de Tom’s Guide, afirmó en un artículo que, tras probar docenas de herramientas de detección de IA, Pangram «superó a las demás que probé». Además, se ha demostrado que Pangram está trabajando con ahínco para reducir los ya escasos casos de falsos positivos.

David Gewirtz, de ZDNET, describe a Pangram como «un recién llegado a nuestras pruebas que se ha aupado de inmediato al grupo de los ganadores».

Dado que el uso de la IA en los artículos de investigación ha aumentado, existe la preocupación de que esto pueda ser un indicio de conducta indebida. El artículo de Adam Day en Medium utilizó la detección de IA de Pangram para obtener resultados fiables sobre la prevalencia del contenido generado por IA, al tiempo que concluía que existen casos de uso legítimos de la IA generativa en la investigación. Day recomienda utilizar Pangram para llevar a cabo investigaciones y afirma: «Si alguien quiere realizar un estudio sobre el uso de la IA generativa en la literatura publicada, creo que las herramientas de Pangram ofrecen una gran oportunidad para hacerlo».

El uso de los resultados de Pangram en investigaciones de prestigio (Universidad de Maryland)

Investigadores de la UMD (en colaboración con Microsoft y Pangram) han utilizado los resultados de la detección de IA de Pangram en un estudio reciente para analizar la presencia de texto generado por IA en las noticias, utilizando una muestra de 186 000 artículos de prensa. Aunque se constató que un bajo porcentaje de las noticias había sido generado por IA, no se reveló el uso de esta tecnología. Se utilizó Pangram para identificar «219 artículos que contenían contenido generado por IA en las páginas de opinión de The New York Times, The Wall Street Journal y The Washington Post».

El estudio logró poner de relieve algunos matices en el uso de la IA, tales como:

Es posible que los periodistas que escriben sus propios artículos no sepan que las personas a las que citan en sus artículos han utilizado la inteligencia artificial para elaborar sus respuestas.

La IA en las noticias mediante la detección de pangramas

Conclusión

En Pangram, creemos que la transparencia es fundamental para generar confianza. Nos encantaría colaborar contigo para llevar la transparencia en la IA a tu organización.