¿Puede la detección de IA detectar los estilos de escritura de Claude?

Imagen: Antrópico

En noviembre, Anthropic lanzó una actualización de Claude.ai que permite a los usuarios elegir el tono de voz con el que responderá el asistente. Además del tono de voz predeterminado, los usuarios pueden elegir entre un menú preestablecido de «Conciso», «Explicativo» y «Formal». También hay un modo para estilos de escritura personalizados en el que se introducen algunos documentos o instrucciones para convertirlos en tu propio estilo de escritura.

Los ajustes preestablecidos son bastante evidentes. «Conciso» suele responder con viñetas o listas. «Explicativo» produce respuestas más largas. «Formal» omite la frase característica de Claude «Esa es una gran pregunta» y escribe de forma bastante profesional. Sin embargo, según mi experiencia, todos siguen sonando como Claude: no son diferentes a hacerle una pregunta al asistente y pedir una respuesta concisa, explicativa o formal.

Pero lo que queremos poner a prueba es nuestra detección de IA. Le pedí a cada estilo de escritura de Claude un ensayo de 250 palabras sobre la caída de Roma. Echemos un vistazo a los resultados.

Salida estándar Claude Salida concisa de Claude Salida explicativa de Claude Salida formal de Claude

Todo esto sigue pareciendo bastante similar al estilo habitual de escritura de Claude. No parece muy diferente a pedir directamente en la indicación un resultado «conciso» o «formal».

Veamos si podemos mejorar utilizando estilos de escritura personalizados. La interfaz es bastante buena, básicamente copias un texto y te genera una sugerencia completa. Creé un estilo personalizado basado en mis propias entradas de blog. Claude lo llamó «Tech Storyteller» (Narrador tecnológico). Creé otro a partir de algunas entradas del blog Slate Star Codex y Claude lo llamó «Scholarly Skeptic» (Escéptico erudito). Parece que esta función utiliza un LLM para producir unas tres frases de instrucciones para el estilo de escritura. También hay una sección para ejemplos de usuarios, pero, para mi sorpresa, los ejemplos proporcionados al LLM son completamente generados y parecen bastante genéricos en comparación con los ejemplos originales.

Tech Storyteller Prompt Narrador tecnológico Claude output Pregunta escéptica académica Escéptico académico Claude output

Estos siguen pareciendo claramente escritos por IA y el modelo de detección de Pangram sigue detectándolos.

Como me di cuenta de que los ejemplos de usuarios generados por IA podían ser un inconveniente, edité manualmente las indicaciones de estilo de redacción para incluir en su lugar los ejemplos originales: las entradas de mi blog y las entradas de Slate Star Codex.

Actualización de la salida de Tech Storyteller Claude Actualización de la producción académica escéptica de Claude.

Sigue siendo claramente identificable como escritura generada por IA. ¿Era mejor o menos parecida a la IA? No especialmente, aunque la eliminación del encabezado tan característico de la IA en Tech Storyteller fue un paso en la dirección correcta. Una cosa que me llamó la atención es que las instrucciones sobre el estilo de escritura hablaban de presentar «información compleja» o «reconocer la complejidad», lo que en su mayoría parecía dar lugar a que la escritura generada por IA utilizara la palabra «complejo» más que en los otros ensayos. No es exactamente el estilo de redacción que pedimos.

Una última nota: utilicé el panel de control de Pangram para examinar qué era exactamente lo que delataba que los ensayos habían sido escritos por IA. Muchas de las frases utilizadas eran mucho más comunes en la escritura de IA que en la escritura humana normal.

Panel de control Pangram

Por ejemplo, nuestro modelo ha descubierto que «complejo y multifacético» se utiliza 700 veces más en la escritura generada por IA que en la escritura humana. «Interacción intrincada» se utiliza 100 veces más. «Desempeñó un papel crucial» se utiliza 70 veces más. Estas frases son un ejemplo de cómo podríamos detectar intuitivamente la escritura generada por IA, pero el modelo utiliza un enfoque holístico, teniendo en cuenta el contexto completo del documento.

En definitiva, el estilo de escritura de Claude parece una función muy útil para aquellas personas que no quieren añadir «no yapping» a cada solicitud, pero no es una herramienta para hacer que los resultados de la IA sean indetectables.