Índice
- Estudio 1: Las personas que utilizan con frecuencia ChatGPT para tareas de redacción son capaces de detectar con precisión y fiabilidad los textos generados por IA
- Resumen del estudio
- Lo que dice sobre el pangram
- Para más información:
- Estudio 2: Reto de detección de texto generado por máquinas en distintos ámbitos
- Resumen del estudio
- Lo que dice sobre el pangram
- Para más información:
- Estudio 3: ESPERANTO: Evaluación de frases sintetizadas para mejorar la solidez de la detección mediante IA del origen del texto
- Resumen del estudio
- Lo que dice sobre el pangram
- Para más información:
- Extra: La propia investigación de Pangram
- DAMAGE: Detección de texto generado por IA y modificado de forma adversaria
- Informe técnico sobre el clasificador de textos generados por IA de Pangram
- Compromiso con la investigación
Pangram sigue consolidándose como una referencia en la detección de contenidos generados por IA. Nuestro enfoque y nuestro modelo, líderes en el sector, aparecen constantemente en los últimos estudios sobre detección de IA, por lo que hoy queríamos destacar algunos de estos estudios recientes y sus conclusiones.
Estudio 1: Las personas que utilizan con frecuencia ChatGPT para tareas de redacción son capaces de detectar con precisión y fiabilidad los textos generados por IA
Resumen del estudio
En este artículo, investigadores de la Universidad de Maryland analizan la capacidad humana para detectar textos generados por IA. Para ello, contrataron a revisores con distintos niveles de familiaridad con los modelos de lenguaje grande (LLM) para que leyeran 300 artículos de no ficción e intentaran clasificarlos como escritos por humanos o generados por IA. Descubrieron que las personas que utilizan con frecuencia los LLM para tareas de redacción destacan en la detección de textos generados por IA, incluso sin haber recibido formación específica.
Lo que dice sobre el pangram
El estudio compara la capacidad humana con la de los «detectores automáticos» (también conocidos como Pangram). Echa un vistazo a los resultados:
El modelo «Humanizer» de Pangram (más información al respecto más adelante) y Pangram fueron, con diferencia, los mejores detectores, ya que detectaron el 100 % de todo el texto generado por IA. Además, nuestros dos modelos mantuvieron una gran solidez frente a la paráfrasis y la humanización, conservando una tasa de detección del 90 %.
Para más información:
Consulta aquí el estudio publicado
Estudio 2: Reto de detección de texto generado por máquinas en distintos ámbitos
Resumen del estudio
En este estudio, investigadores de la Universidad de Pensilvania se propusieron evaluar si los detectores podían aplicarse de forma generalizada a un conjunto fijo de modelos de IA, tipos de documentos y «ataques adversarios» (intentos de dificultar la detección de textos generados por IA). Han descubierto que «los detectores son capaces de detectar de forma fiable textos procedentes de múltiples ámbitos y modelos al mismo tiempo». Si alguien te dice que los detectores de IA no funcionan, ¡solo tienes que remitirle a este estudio!
Lo que dice sobre el pangram
¡Ahí está Pangram, en lo más alto! Quedamos en primer lugar, empatados con un detector de un equipo de investigación de Leidos que fue diseñado y entrenado específicamente para este estudio.
Para más información:
¡Lee aquí nuestra entrada de blog completa sobre este tema y echa un vistazo al estudio publicado aquí!
Estudio 3: ESPERANTO: Evaluación de frases sintetizadas para mejorar la solidez de la detección mediante IA del origen del texto
Resumen del estudio
Este estudio analiza un ataque denominado «back-translation», en el que los atacantes traducen un texto a varios idiomas antes de volver a traducirlo al inglés con el fin de eludir la detección por parte de la IA. Han descubierto que pueden conservar el significado semántico del texto al tiempo que reducen significativamente la detectabilidad del texto generado por IA (en la mayoría de los detectores 😄).
Lo que dice sobre el pangram
Como se puede ver, Pangram es el que muestra una mayor solidez en todas las categorías. Aunque la retraducción puede reducir en ocasiones a la mitad o casi a una cuarta parte la tasa de detección de los competidores, Pangram sigue mostrando solidez.
Para más información:
¡Echa un vistazo a nuestra primera entrada del blog aquí y al estudio publicado aquí!
Extra: La propia investigación de Pangram
Si te interesa saber más sobre la investigación que Pangram lleva a cabo internamente para mejorar nuestro modelo, puedes consultar más información sobre esos estudios aquí:
DAMAGE: Detección de texto generado por IA y modificado de forma adversaria
Informe técnico sobre el clasificador de textos generados por IA de Pangram
Compromiso con la investigación
En Pangram, nos comprometemos a impulsar la investigación en este campo y, por ello, ofrecemos acceso gratuito e ilimitado a los académicos interesados en estudiar la detección de IA con Pangram. ¿Te gustaría saber más? Ponte en contacto con nosotros en info@pangram.com
Elyas Masrour es ingeniero fundador de Pangram. Desde que se incorporó a Pangram como segundo empleado nada más salir de la Universidad de Maryland, ha desarrollado infraestructuras fundamentales, como la API de servicio de modelos, los controles de acceso basados en roles y los flujos de trabajo de verificación. Elyas también colabora estrechamente con el equipo de investigación en proyectos como la robustez ante ataques adversarios, la interpretabilidad de los modelos y la detección de contenido mixto heterogéneo. Fuera del trabajo, Elyas disfruta de una amplia gama de expresiones de la creatividad humana, como el cine, la lectura y explorar la ciudad.
Lecturas relacionadas
¿Detecta Pangram el Gemini 3?
Los profesionales del marketing están malgastando el presupuesto publicitario en contenido generado por IA
Presentamos Open Pangram
Cómo intentan los estudiantes eludir la detección de la IA
Comprender la nueva ley de la UE sobre la inteligencia artificial
Pangram Space: un proyecto de investigación interactivo
