Un llamamiento para que se realicen nuevas evaluaciones de los pangramas

Creemos que es fundamental que investigadores independientes auditen los detectores de IA como Pangram. Actualmente, la evaluación independiente con la muestra más amplia la llevó a cabo la Universidad de Chicago, y se realizó hace más de un año utilizando Pangram 3. Constantemente se lanzan nuevos modelos de lenguaje grande (LLM), y una evaluación binaria entre documentos generados íntegramente por IA y documentos escritos íntegramente por personas no refleja todo el espectro del rendimiento en el mundo real.

Necesitamos más pruebas de rendimiento de Pangram de alta calidad y totalmente independientes. Una buena prueba de rendimiento nos ayudará a comprender y mejorar Pangram, y también contribuirá a definir la forma en que el mundo interactuará con la IA en los próximos años.

Estamos lanzando una convocatoria para nuevas evaluaciones realizadas por terceros. Algunos ejemplos de evaluaciones que nos gustaría recibir son aquellas que intenten responder a alguna de las siguientes preguntas:

• ¿En qué medida detectan los detectores actuales el texto generado por los modelos de IA más avanzados?
• ¿Qué rendimiento ofrecen los detectores de IA en entornos con un alto nivel de contexto, como la investigación en profundidad, en un sistema de control de agentes o tras múltiples iteraciones de edición con IA?
• ¿Qué resultados ofrecen los detectores con textos de autoría mixta? La investigación en este ámbito podría explorar todo el abanico de posibilidades que ofrece la asistencia de la IA, desde ligeras correcciones gramaticales hasta la coautoría completa.
• ¿Qué resultados ofrecen los detectores de texto generados por IA con los resultados de los programas de conversión de voz a texto basados en IA? ¿En qué medida modifican estos programas el texto?
• ¿Qué resultados ofrecen los detectores de IA con textos generados por IA y por personas escritos en diferentes idiomas?
• ¿Qué resultados ofrecen los detectores de IA con textos escritos por autores de distintos orígenes, pertenecientes a diferentes grupos étnicos o culturales, y que abordan distintos géneros o tipos literarios? Los resultados nulos, que no muestran ningún sesgo, también nos resultan interesantes.
• ¿Qué rendimiento ofrecen los detectores de IA con nuevos tipos de texto, como los documentos históricos recién escaneados?
• ¿Qué resultados ofrecen los detectores de IA en textos técnicos, ecuaciones matemáticas o código, tanto si están escritos por IA como por personas?

Lo que valoramos en un banco de pruebas son unos datos extraordinariamente limpios, datos de modelos de lenguaje a gran escala (LLM) de vanguardia y un nivel de dificultad lo suficientemente alto como para que el banco de pruebas no quede saturado por la mayoría de los detectores.

Nos complace conceder subvenciones para este tipo de evaluaciones. Una vez aprobado el tema de la subvención, no imponemos condiciones de publicación: los investigadores tienen total libertad para publicar cualquier resultado que obtengan, sea o no favorable para Pangram.

Si eres investigador y te gustaría evaluar nuestro rendimiento, envía tu solicitud aquí.