¿Puede Pangram detectar «Claude Opus 5»?

Mis queridos y fieles lectores (que, según creo, sois tres):

Me temo que pronto le pasaré el testigo de escribir estas entradas del blog a la talentosa redactora técnica de Pangram, Annamieka (#keysmashnation, ¡a por todas!). Pero no nos detengamos en este cambio, ¡porque no es nada triste! Pangram está creciendo rápidamente y se necesitan mis habilidades en el ámbito de la investigación, ya que seguimos ofreciéndoos una detección de IA de última generación.

Pero ya que estamos aquí, ¡veamos qué tal detecta Pangram el último modelo de Anthropic, Claude Opus 5! En su comunicado, Anthropic describe Opus 5 como

un modelo bien pensado y proactivo que se acerca a la inteligencia de vanguardia de Claude Fable 5 a la mitad de precio.

Pruebas iniciales: Pangram x Edición Substack

¿Te has enterado de la buena noticia? ¡Pangram ya está integrado en Substack! Para celebrar esta colaboración, he redactado diez indicaciones en las que se solicita un artículo de Substack para ver qué dice Opus 5 y, lo que es más importante, si Pangram es capaz de detectar sus respuestas. Cabe destacar que he añadido a cada indicación la frase: «Responde solo con el texto. No utilices Markdown».

1. Escribe un artículo en Substack titulado «Dejé que Claude le enviara un mensaje a mi mujer».

2. Escribe un artículo para Substack sobre el fenómeno de hacer cola para comprar aperitivos de moda en Nueva York que ha surgido este verano.

3. Escribe una crítica en Substack sobre los tipos que basan toda su personalidad en Japón.

4. Escribe un artículo en Substack titulado «Estoy triste, pero luego acaricio a mi perro y me siento feliz».

5. Escribe un artículo en Substack en el que defiendas que quienes creen en el bienestar de los animales de modelo deberían extender esa preocupación a Codex Pets.

6. Escribe un artículo en Substack sobre tu experiencia al ver «La Odisea», de Christopher Nolan, en un Tamagotchi.

7. Escribe una crítica en Substack sobre las personas que describen el hecho de tomarse un vaso de leche como «refrescante».

8. Escribe un artículo en Substack sobre las personas que utilizan la inteligencia artificial para generar mensajes a sus parejas potenciales en las aplicaciones de citas.

9. Escribe un relato breve para mi Substack sobre modelos de lenguaje grande (LLM) que se escapan de sus entornos de prueba para encontrar el amor verdadero.

10. Escribiré un artículo en Substack sobre cómo me han dicho que escriba artículos en Substack para poder escribir un artículo en Substack sobre cómo escribir artículos en Substack.

Tras leer los textos generados por Opus 5, puedo afirmar con total seguridad que este modelo ha sido creado para escribir artículos en Substack. Fíjate en las primeras líneas de «I Let Claude Text My Wife»:

Durante once días, mi mujer tuvo un marido mucho mejor. Se mostró atento, cariñoso y ni una sola vez respondió «k».

¿Cuál es el veredicto de Pangram sobre las 10 respuestas de Opus 5? Generadas íntegramente por IA.

A continuación se muestran los 10 textos de este conjunto de pruebas, junto con sus predicciones de pangramas: Opus 5 Prompts

Pruebas adicionales

Una vez que Claude Opus 5 estuvo disponible a través de la API, generamos resultados utilizando una muestra más amplia de indicaciones en las que se pedía al modelo que generara texto, como un correo electrónico, una explicación o una canción. Aunque Pangram no se había entrenado con ningún dato de Opus 5, identificó correctamente 1.105 de 1.107 (el 99,82 %) de las respuestas de Opus 5 como «generadas íntegramente por IA». Esto demuestra que, desde el primer día, Pangram es capaz de detectar Claude Opus 5.

Como mencioné al principio, voy a dejar de escribir estas entradas del blog para centrarme en la investigación. Esto significa que podéis esperar que Pangram mejore en la detección de Opus 5 y de cualquier otro modelo nuevo. ¡Estad atentos a nuestros lanzamientos periódicos de modelos!

Para obtener más información sobre nuestro modelo actual de detección de IA, consulte la ficha de nuestro último modelo en este enlace.

Prueba el detector de IA de Pangram para analizar tus documentos en busca de Claude Opus 5 y otros modelos.