¿Puede la detección mediante IA identificar el estilo de escritura de Claude?

Imagen: Anthropic

En noviembre, Anthropic lanzó una actualización de Claude.ai que permite a los usuarios elegir el tono de voz con el que responderá el asistente. Además del tono de voz predeterminado, los usuarios pueden elegir entre un menú preestablecido que incluye «Conciso», «Explicativo» y «Formal». También hay un modo para estilos de redacción personalizados en el que se introducen algunos documentos o instrucciones para que se adapten a tu propio estilo de redacción.

Los ajustes preestablecidos se explican por sí mismos. El modo «Conciso» suele responder con viñetas o listas. El modo «Explicativo» genera respuestas más largas. El modo «Formal» omite la típica frase de Claude «Esa es una gran pregunta» y escribe con bastante profesionalidad. Sin embargo, según mi experiencia, todas las respuestas siguen sonando como si las diera Claude: no hay ninguna diferencia entre hacerle una pregunta al asistente y pedirle una respuesta concisa, explicativa o formal.

Pero lo que queremos poner a prueba es nuestro sistema de detección de IA. Le pedí a cada estilo de escritura de Claude que redactara un ensayo de 250 palabras sobre la caída de Roma. Echemos un vistazo a los resultados.

Salida estándar de Claude Resultado conciso de Claude Salida explicativa de Claude Salida formal de Claude

Todo esto sigue sonando bastante parecido al estilo habitual de Claude. No parece que haya mucha diferencia con respecto a pedir directamente en la instrucción un resultado «conciso» o «formal».

Veamos si podemos mejorar el resultado utilizando estilos de redacción personalizados. La interfaz es bastante interesante: básicamente, pegas un texto y te genera una indicación completa. Creé un estilo personalizado basado en mis propias entradas de blog. Claude lo llamó «Tech Storyteller». Creé otro a partir de algunas entradas del blog Slate Star Codex y Claude lo llamó «Scholarly Skeptic». Parece que esta función utiliza un LLM para generar unas tres frases de instrucciones para el estilo de redacción. También hay una sección de ejemplos de usuarios, pero, para mi sorpresa, los ejemplos proporcionados al LLM son totalmente generados y parecen bastante genéricos en comparación con los ejemplos originales.

Propuesta para «Tech Storyteller» Claude, el narrador tecnológico Tema para el «Escéptico Académico» Publicaciones de Claude, el escéptico académico

Estos textos siguen pareciendo claramente escritos por una IA y el modelo de detección de Pangram sigue detectándolos.

Como me di cuenta de que los ejemplos de usuario generados por IA podían ser un inconveniente, edité manualmente las indicaciones de estilo para incluir en su lugar los ejemplos originales: las entradas de mi blog y las de Slate Star Codex.

Versión actualizada de «Tech Storyteller Claude» Actualización de los resultados de Scholarly Skeptic Claude

Sigue siendo claramente identificable como texto generado por IA. ¿Ha mejorado o se parece menos a la IA? No especialmente, aunque la eliminación del encabezado, que tenía un aspecto muy propio de la IA, en el «Tech Storyteller» fue un paso en la dirección correcta. Una cosa que me llamó la atención es que las instrucciones sobre el estilo de redacción hablaban de presentar «información compleja» o «reconocer la complejidad», lo que, en su mayor parte, pareció dar lugar a que la IA utilizara la palabra «complejo» más que en los demás ensayos. No es exactamente el estilo de redacción que pedimos.

Una última observación: utilicé el panel de control de Pangram para analizar qué aspectos concretos de los ensayos delataban que habían sido redactados por una IA. Muchas de las frases utilizadas eran mucho más habituales en la escritura generada por IA que en la escritura humana normal.

Panel de control de Pangram

Por ejemplo, nuestro modelo ha detectado que la expresión «complejo y multifacético» se utiliza 700 veces más a menudo en los textos generados por IA que en los escritos por humanos. La expresión «interacción intrincada» se utiliza 100 veces más a menudo. La expresión «desempeñó un papel crucial» se utiliza 70 veces más a menudo. Estas expresiones son un ejemplo de cómo podríamos detectar intuitivamente un texto generado por IA, pero el modelo utiliza un enfoque holístico, teniendo en cuenta el contexto completo del documento.

En definitiva, el estilo de escritura de Claude parece una función muy útil para quienes no quieren tener que añadir «sin charla» a cada solicitud, pero no es una herramienta para que los resultados de la IA pasen desapercibidos.

Prueba la herramienta de detección de IA de Pangram para comprobar si se trata de Claude u otros resultados de modelos.