Creemos que la detección de IA seguirá siendo viable, incluso ante modelos de vanguardia tan potentes como Claude Mythos Preview.

Cuando cualquier autor, ya sea humano o un modelo de lenguaje grande (LLM), escribe un texto, está tomando decisiones. Incluso en un texto de tan solo 150 palabras, un autor puede tomar cientos de miles de decisiones, tanto conscientes como inconscientes, sobre la elección de las palabras, el orden de las mismas, la colocación de los signos de puntuación y la estructura de las oraciones.

En esencia, la detección de la IA es un problema de identificación del autor. Por muy sofisticado que sea un modelo concreto, sigue siendo un único autor quien toma las decisiones. Además, estas decisiones están sujetas a ciertas limitaciones: los modelos asistentes deben generar textos que sean útiles, claros y fáciles de leer. Estas características se incorporan al modelo mediante el ajuste fino supervisado y el aprendizaje por refuerzo.

Incluso el modelo de frontier más sofisticado sigue siendo un único sistema estructurado, y tendrá hábitos y peculiaridades identificables. Además, estos modelos generan una gran cantidad de texto, lo que significa que tenemos muchas oportunidades para aprender qué tipo de decisiones suelen tomar.

A veces se plantea el problema como si «la distancia estadística entre la escritura humana y la de la IA se estuviera reduciendo». Esto es una interpretación errónea de cómo funciona la detección. La IA ya escribe lo suficientemente bien como para que un ojo inexperto la confunda con un humano, tal y como vimos en un cuestionario del NYT que se hizo viral. Pero los textos generados por un modelo, al igual que los de cualquier autor individual, siempre se agruparán en el espacio de incrustación. Por eso creemos que la detección de IA seguirá siendo viable, incluso a medida que los modelos se vuelvan cada vez más potentes.

Los resultados parecen prometedores. El modelo Pangram actual ha sido capaz de detectar correctamente el relato corto de «Mythos Preview» publicado en la ficha del sistema.

Mientras los modelos sean sistemas entrenados, creemos que la detección seguirá siendo un problema que se puede resolver.