Lo último en investigación sobre detección de IA

Pangram sigue consolidándose como una autoridad en la detección de contenido generado por IA. Nuestro enfoque y modelo líderes en el sector aparecen constantemente en los últimos estudios en el campo de la detección de IA, por lo que hoy queremos destacar algunos estudios recientes y sus conclusiones.

Estudio 1: Las personas que utilizan con frecuencia ChatGPT para tareas de redacción son detectores precisos y fiables de textos generados por IA.

Resumen del estudio

En este artículo, investigadores de la Universidad de Maryland estudian la detección humana de textos generados por IA. Contratan a anotadores con diferentes niveles de familiaridad con los LLM para que lean 300 artículos de no ficción e intenten clasificarlos como escritos por humanos o generados por IA. Descubren que las personas que utilizan LLM a menudo para tareas de escritura destacan en la detección de textos generados por IA, incluso sin formación.

Lo que dice sobre Pangram

El estudio compara la capacidad humana con la de los «detectores automáticos» (también conocidos como Pangram). Echa un vistazo a los resultados:

El modelo Humanizer de Pangram (más información al respecto a continuación) y Pangram fueron, con diferencia, los mejores detectores, ya que detectaron el 100 % de todos los textos generados por IA. Nuestros dos modelos también mantuvieron una gran solidez frente a la paráfrasis y la humanización, con una tasa de detección del 90 %.

Para más información:

Consulte el estudio publicado aquí.

Estudio 2: Desafío de detección de texto generado por máquina entre dominios

Resumen del estudio

En este estudio, investigadores de la Universidad de Pensilvania quisieron evaluar si los detectores podían generalizarse a un conjunto fijo de modelos de IA, tipos de documentos y «ataques adversarios» (intentos de hacer que el texto generado por IA sea más difícil de detectar). Descubrieron que «los detectores son capaces de detectar de forma fiable texto de muchos dominios y modelos simultáneamente». Si alguien te dice que los detectores de IA no funcionan, ¡simplemente remítele a este estudio!

Lo que dice sobre Pangram

¡Ahí está Pangram, en primer lugar! Quedamos en primer lugar, empatados con un detector de un equipo de investigación de Leidos que fue diseñado y entrenado específicamente para este estudio.

Para más información:

¡Encuentra aquí nuestra entrada completa del blog sobre este tema y echa un vistazo al estudio publicado aquí!

Estudio 3: ESPERANTO: Evaluación de frases sintetizadas para mejorar la solidez en la detección de IA para la creación de textos

Resumen del estudio

Este estudio analiza un ataque denominado «traducción inversa», en el que los delincuentes traducen un texto a varios idiomas antes de volver a traducirlo al inglés con el fin de evadir la detección de la IA. Descubren que pueden conservar el significado semántico del texto y, al mismo tiempo, reducir significativamente la detectabilidad del texto de IA (en la mayoría de los detectores 😄).

Lo que dice sobre Pangram

Como se puede observar, Pangram muestra la mayor solidez en todas las categorías. Mientras que la retraducción puede reducir a veces a la mitad o casi a una cuarta parte la tasa de detección de los competidores, Pangram se mantiene sólido.

Para más información:

¡Echa un vistazo a nuestra primera entrada en el blog aquí y al estudio publicado aquí!

Bonificación: Investigación propia de Pangram

Si te interesa saber más sobre la investigación que Pangram lleva a cabo internamente para mejorar nuestro modelo, puedes leer más sobre esos estudios aquí:

DAMAGE: Detección de texto generado por IA modificado de forma adversaria

Informe técnico sobre el clasificador de textos generados por IA Pangram

Compromiso con la investigación

En Pangram, estamos comprometidos con impulsar la investigación en este campo y, por ello, ofrecemos acceso gratuito e ilimitado a los académicos interesados en estudiar la detección de IA con Pangram. ¿Te interesa saber más? Ponte en contacto con nosotros en info@pangram.com.