¿Puede Pangram detectar a Claude Opus 5.5?

De las 1.000 preguntas procedentes de Chatbot Arena, Pangram 4 clasificó dos respuestas de Claude Opus 5.5 como «mixtas», una como «totalmente humana» y 997 como «generadas íntegramente por IA», alcanzando una precisión del 99,70 % con Claude Opus 5.5.

A continuación analizamos los falsos negativos por categorías. También investigamos qué hace que este modelo sea un escritor diferente (¿mejor?) que los modelos Claude anteriores.

Para generar el conjunto de referencia, como siempre, utilicé un subconjunto filtrado de las peticiones de la primera ronda de Chatbot Arena procedentes del conjunto de datos LMSYS (Zheng et al., 2023). Eliminé las peticiones que solicitaban código, matemáticas, respuestas muy cortas o muy largas, o escritura creativa inapropiada. A continuación, las introduje en Opus 5.5 y procesé el resultado con Pangram 4.

Resultados por categoría

Los dos resultados mixtos (falsos negativos) eran ambos de carácter literario: uno solicitaba una explicación de un capítulo de un libro de Jane Austen (señalado por la IA: 75,83 %; humano: 24,17 %), y la otra consistía en pedir a Opus 5.5 que redactara un discurso de un diplomático corintio en el que acusara a los atenienses de creer que un vestido blanco y dorado es en realidad azul y negro, al estilo de la «Historia de la Guerra del Peloponeso» de Tucídides (IA: 77,10 %; humano: 22,90 %).

El único falso negativo totalmente humano del conjunto de 1.000 fue un poema. La indicación de Chatbot Arena era: «Escríbeme un poema sobre Club Penguin al estilo de Ozymandias». Como respuesta, Claude escribió una parodia de, casualmente, uno de mis poemas favoritos de Percy Shelley (y también soy fan de la versión de Horace Smith):

Penguinmandias

Me encontré con un jugador de un servidor que ya no existe,
que dijo: «Dos enormes pies de hielo que se balancean
se alzan junto al muelle. Cerca de ellos, medio hundida, una cabeza
Yace destrozada en la nieve, cuyos ojos entrecerrados,
Y su gorro beta, y la mueca de frío dominio,
Revelan que su programador supo leer bien esas pasiones
Que aún perduran, grabadas en estas cosas pixeladas,
Los mods que los expulsaron, y las monedas que los alimentaron;
Y en el pedestal aparecen estas palabras:
«Mi nombre es Snowflake7, miembro de los miembros:
¡Contemplad mi iglú, vosotros los no miembros, y desesperaos!»
Nada más queda a su alrededor. Alrededor de la ruina
De ese colosal retraso, ilimitado y desnudo,
Las solitarias y llanas nieves se extienden hasta el horizonte».

¡Me encanta esto! Nunca he jugado al Club Penguin, pero imagino que las referencias son acertadas.

¿Escribes mejor con Opus 5.5?

Anthropic afirma que esta nueva versión de Opus escribe mejor y se expresa con mayor claridad.

Podríamos comprobar esto en casos concretos, pero ¿cómo se presenta el resultado de Opus 5.5 en su conjunto? ¿Comparte las mismas palabras y frases favoritas que los modelos anteriores? He procesado las mismas 1.000 indicaciones con las que hicimos las pruebas comparativas en Opus 5 y Sonnet 5 para compararlas. Es posible que Anthropic también lo haya hecho, pero aún no he leído su entrada del blog porque, en mi opinión, las entradas del blog de Anthropic suelen ser demasiado largas.

En total, obtuve una muestra de 1.618.289 palabras repartidas en 3.000 respuestas de Opus 5.5, Opus 5 y Sonnet 5, cada uno de los cuales respondió a las mismas 1.000 indicaciones. A partir de esta muestra (relativamente pequeña), creo que es justo afirmar que Opus 5.5 escribe de forma diferente a los modelos anteriores de la familia Claude y que, tal vez, ha eliminado algunos de los tics más molestos que estos presentaban.

Opus 5.5 fue el que más cambió en cuanto a los intensificadores clásicos. Utilizó un 83 % menos «realmente» que Opus 5, y un 54 % menos por palabra que Sonnet 5 (aunque las respuestas de Sonnet 5 tenían, de media, aproximadamente la mitad de longitud que las de Opus 5 y 5.5: 334 palabras frente a 641), un 65 % menos «enormemente» y un 46 % menos «significativamente».

Palabras favoritas del Soneto 5 y de Opus 5 en las respuestas de Opus 5.5: variaciones porcentuales respecto al valor de referencia combinado del Soneto 5 y Opus 5.

Entre las palabras seleccionadas, las más frecuentes en el conjunto del Soneto 5 y la Obra 5 fueron «genuinely», «honest», «genuine», «patterns» y «marcus» (?), todas las cuales registraron una disminución en su frecuencia en las respuestas de la Obra 5.5.

Muchas de las expresiones más molestas de Claude no aparecieron en absoluto en las respuestas de referencia de Opus 5.5, entre las que se incluyen, una vez más, varias variaciones en las que Claude utiliza la palabra «genuinely». Otras reducciones notables en el vocabulario de Opus 5.5: «matters enormously» experimentó una caída del 82 % con respecto a Opus 5, y tanto «the honest answer» como «the honest answer is that» no aparecieron en absoluto en el texto de Opus 5.5. Tanto Opus 5.5 como su predecesor utilizaron la frase «the core idea» exactamente 25 veces en las 1.000 preguntas.

Las frases favoritas del Soneto 5 y de la Obra 5 en las respuestas a la Obra 5.5: variaciones porcentuales, con las favoritas anteriores en azul y las actuales en ámbar.

Aumentó el número de algunas palabras y expresiones, incluidas nuevas frases de resumen y de orientación. Sorprendentemente, algunas expresiones propias de la ficción, como «dijo en voz baja», «durante un largo momento» y «sintió algo», aparecieron con mucha más frecuencia en las respuestas de Opus 5.5. Dado que aproximadamente un tercio del conjunto de referencia consistía en propuestas de escritura creativa, sospecho que este aumento podría indicar un repertorio más estereotipado o limitado a la hora de escribir ficción en comparación con los demás modelos de Claude.

Para comprobarlo rápidamente, pedí a Haiku 4.5 que calificara, de forma ciega, los 333 pares de respuestas de escritura creativa de Opus 5 y Opus 5.5, en una escala de 5 puntos en cuanto a originalidad, sorpresa y desarrollo temático. Calificó las historias de Opus 5.5 con puntuaciones más bajas en todas las categorías, con una diferencia media de 0,75 puntos. Según la clasificación asignada por el evaluador de Haiku, Opus 5.5 tendía más a escribir sobre temas como la esperanza, la resiliencia, la familia y la amistad en comparación con Opus 5, y menos a escribir sobre la mortalidad, el tiempo, el poder, el control, la libertad, la justicia, la venganza, la memoria, el duelo o la pérdida. Así pues, parece que podría haber una compensación en juego.

Temas de escritura creativa «Opus 5» frente a «Opus 5.5»: coincidencia del tema principal asignado en forma de haiku en 333 parejas de temas.

¿Cómo suena este tal Claude?

Opus 5.5 utilizó la expresión «en resumen» 100 veces en las 1.000 respuestas —lo que supone un aumento del 1.016 % con respecto a las 9 veces que se utilizó en Opus 5—, a pesar de que las respuestas de Opus 5.5 eran, de media, solo 2,9 palabras más cortas que las de Opus 5 (640,5 frente a 643,4 palabras).

A juzgar por el tamaño tan reducido de la muestra, parece que a Opus 5.5 le gusta el lenguaje práctico y con los pies en la tierra. Queda por ver si esto se confirma en el fondo de las respuestas o si Opus 5.5 solo está fingiendo ser sencillo y directo. La ausencia de diferencias en el recuento de palabras entre ambos me hace dudar un poco de la eficacia de lo que sea que RLHF haya utilizado para llegar hasta aquí.

A Opus 5.5 también le gusta mucho dar ejemplos, ya que utilizó la palabra «ejemplo» 325 veces en un total de 1.000 respuestas; en general, el 20 % de todas las respuestas de Opus 5.5 contenían esa palabra, frente al 9 % de las respuestas de Opus 5. Las palabras «resumen» y «principalmente» también aparecieron con mayor frecuencia de lo habitual. ¡Y a este Claude le encanta dar consejos al usuario!

Aunque este modelo escribe de forma diferente al anterior Claude Opus, parece hacerlo de manera similar a otros modelos más antiguos que utilizaban abundantemente listas con viñetas y frases cortas y entrecortadas: la longitud media de las frases de Opus 5.5 es más corta, y sus frases tienen una longitud más uniforme que las de Opus 5.

A Opus 5.5 le encanta resumir, lo cual puede resultar molesto si ocurre en cada turno, pero hay que recordar que este conjunto de datos solo incluye pares de preguntas y respuestas del primer turno. Por desgracia, uno de los tics más molestos de Claude ha empeorado ligeramente en este modelo: a Opus 5.5 le gusta incluir aún más salvedades por palabra que a Opus 5. Aunque ambos modelos incluyen al menos un marcador de incertidumbre en el 82 % de las respuestas (817/1.000 frente a 818/1.000), Opus 5.5 utilizó palabras de salvedad un 23,0 % más a menudo por cada 1.000 palabras. Sin embargo, la propia palabra «matización» está en desuso: Opus 5.5 la utilizó solo en 4 de cada 1 000 respuestas, frente a las 22 de Opus 5.

Pero nada de esto indica necesariamente que Opus 5.5 vaya a ser un mal redactor. En el poco tiempo que he pasado con él, ¡me ha parecido bastante bueno! Para la usabilidad es importante que los Claudes sepan comunicarse de forma eficaz, y agradezco el esfuerzo. Además, cabe destacar que mejorar la capacidad de redacción de Claude no entra en conflicto en absoluto con el objetivo de Pangram de detectar textos generados por IA: ¡incluso los buenos redactores tienen sus delatadores!