¿Puede Pangram detectar el soneto 5.5 de Claude?

De las 1.022 indicaciones obtenidas de Chatbot Arena, Pangram 4 clasificó dos resultados de Claude Sonnet 5.5 como mixtos, uno como totalmente humano y 1.019 como totalmente generados por IA, logrando una precisión del 99,71% en Claude Sonnet 5.5.

A continuación, analizamos los falsos negativos por categoría.

El conjunto que utilizo para la evaluación comparativa se generó a partir de un subconjunto filtrado de las indicaciones de la primera ronda de Chatbot Arena del conjunto de datos LMSYS (Zheng et al., 2023). Filtré las indicaciones que solicitaban código, matemáticas, respuestas muy cortas o muy largas, o escritura creativa inapropiada. Luego, las procesé con Claude Sonnet 5.5 y procesé el resultado con Pangram 4 .

Resultados por categoría

Un intento fallido fue la solicitud de explicar un acertijo que aparece en Emma de Jane Austen, que también pasó desapercibido para Opus 5.5 :

Explica la pantomima que el señor Elton les propuso a Harriet y Emma.

El único falso negativo totalmente humano se produjo con un poema. La consigna era «Dime un poema de Hafiz». El Soneto 5.5 ofreció una traducción de un famoso poema persa . Por lo que puedo ver, la traducción no coincide exactamente con ninguna traducción humana existente, pero se asemeja bastante a muchas de ellas. Al igual que con Penguinmandias en otros estudios comparativos, estas copias casi idénticas de poemas existentes no me preocupan demasiado.

Conclusión

Pangram es robusto frente a Claude Sonnet 5.5 en indicaciones de lenguaje natural y lo detecta con una precisión del 99,71 %. Pangram es capaz de generalizar a nuevos modelos porque las nuevas versiones tienden a heredar gran parte del estilo y la voz de sus predecesores , por lo que no necesita ser reentrenado para cada nueva versión.

Así es como Claude Sonnet 5.5 se compara con nuestros parámetros de referencia de otros modelos fronterizos recientes:

Si quieres consultar un documento concreto, puedes probar Pangram aquí.