Actualización del texto del pangram: GPT-4o, Claude 3, LLaMA 3

Foto de Google DeepMind.

Hoy nos complace demostrar nuestra capacidad para adaptarnos rápidamente a los nuevos modelos de lenguaje grande (LLM) del mercado con el lanzamiento de una actualización de nuestro modelo que alcanza una precisión casi perfecta en la detección de textos generados por IA a partir de GPT-4o, Claude 3 y LLaMA 3.

En resumen:

• Hemos lanzado una nueva versión de Pangram Text que mejora el rendimiento en GPT-4o, Claude 3 y LLaMA 3.
• Nuestra infraestructura está diseñada para procesar rápidamente grandes cantidades de texto generado por IA procedente de nuevos modelos tan pronto como estos se ponen a disposición del público.
• Hemos observado que, a medida que el rendimiento de todos estos nuevos modelos se acerca al nivel de GPT-4, también empiezan a sonar todos igual desde el punto de vista estilístico.

Resultados

Nuestro modelo más reciente se desenvolvió bastante bien a la hora de detectar los resultados de los nuevos modelos, incluso sin haber visto ningún ejemplo de ellos en el conjunto de entrenamiento. Sin embargo, no nos conformamos con un «bastante bien»: queremos asegurarnos de que seguimos ampliando los límites de lo que es posible con la detección mediante IA y de que conseguimos la mayor precisión posible para nuestros clientes.

Para comprobar nuestro rendimiento con los modelos de lenguaje de última generación, hemos renovado nuestro conjunto de evaluación, compuesto por 25 000 ejemplos de texto humano difícil de clasificar y texto generado por IA a partir de un panel de modelos de lenguaje. Aproximadamente el 40 % de este nuevo conjunto de evaluación está formado por una amplia variedad de textos generados por IA a partir de GPT-4o, Claude 3 y LLaMA 3, que abarcan diversos ámbitos, como noticias, reseñas, educación y otros.

Utilizamos todas las versiones de los nuevos modelos cuando están disponibles: por ejemplo, tomamos muestras de forma equitativa de las versiones Opus, Sonnet y Haiku de Claude 3.

Tras actualizar nuestro conjunto de datos de entrenamiento para incorporar los últimos modelos de lenguaje grande (LLM), hemos comprobado que volvemos a alcanzar una precisión casi perfecta en el texto generado por la última generación de modelos de lenguaje.

Además de mejorar el rendimiento de los nuevos modelos, hemos observado que la incorporación de datos de entrenamiento de la última generación de modelos mejora ligeramente el rendimiento de varios modelos antiguos.

Hemos observado que, sin provocar ningún retroceso en nuestro antiguo conjunto de evaluación del modelo, hemos mejorado los resultados en varios casos de detección de GPT-3.5 y GPT-4 (estándar). En concreto, hemos constatado que 8 casos de GPT-3.5 que antes el modelo no detectaba ahora se detectan, y que 13 casos de GPT-4 que antes el modelo no detectaba ahora se detectan. Concluimos aquí que la mayor capacidad de nuestro modelo para detectar GPT-4o, Claude 3 y LLaMA 3 no supone ningún coste en cuanto a la capacidad de detectar modelos más antiguos.

Mantenerse a la vanguardia

Desde el principio sabíamos que los límites de los modelos de lenguaje grande (LLM) cambiarían rápidamente, por lo que diseñamos la arquitectura de nuestro sistema teniendo esto en cuenta. Nuestros sistemas están diseñados para poder regenerar datos y empezar a entrenar un nuevo modelo a las pocas horas de que una nueva API esté disponible públicamente.

Cuando se lanza un nuevo modelo, generar un nuevo conjunto de datos y volver a entrenar el modelo es tan sencillo como realizar un cambio en la configuración. Contamos con una biblioteca estándar de plantillas de prompts diseñadas para introducirlas en los modelos de lenguaje grande (LLM) con el fin de generar texto de aspecto humano que se acerque, aunque no sea exactamente igual, a la parte humana de nuestro conjunto de datos. En nuestro informe técnico detallamos este proceso, denominado «Hard Negative Mining with Synthetic Mirrors».

El calendario para el lanzamiento de este nuevo modelo fue el siguiente:

13 de mayo: Se lanzó GPT-4o y se puso a disposición en la API de OpenAI. 14 de mayo: Se actualizó el proceso de creación de conjuntos de datos y se crearon nuevos conjuntos de entrenamiento y evaluación. 15-16 de mayo: Se entrenó el modelo de detección de IA utilizando los nuevos conjuntos de datos. 17 de mayo: Se llevaron a cabo controles de calidad y comprobaciones de validez, y se lanzó el modelo.

La infraestructura que hemos creado nos permite adaptarnos rápidamente e incorporar textos de nuevos modelos al sistema de detección de producción en tan solo una semana.

¿Rendimientos decrecientes?

A medida que los nuevos modelos son cada vez mejores, deben de ser más difíciles de detectar, ¿no? Todavía no hemos encontrado pruebas que respalden este argumento, tan tentador pero, en última instancia, erróneo.

Según nuestras observaciones, estamos constatando que los modelos más eficaces, debido a sus estilos más peculiares, resultan en realidad más fáciles de detectar que los modelos menos eficaces. Por ejemplo, hemos descubierto que nuestro modelo anterior era más eficaz a la hora de detectar Claude Opus que Sonnet y Haiku.

Como podemos ver en la clasificación de LMSYS, muchos modelos base están convergiendo asintóticamente hacia el nivel de GPT-4, pero ningún modelo ha logrado aún superarlo de forma convincente por un margen sustancial. Si observamos la situación desde una perspectiva global, si varias empresas de modelos base adoptan la misma arquitectura basada en la atención y la entrenan con todo el contenido de Internet, no es de extrañar que el lenguaje que generen todos los modelos acabe sonando increíblemente similar entre sí. Quienes interactúan con modelos de lenguaje de forma habitual comprenderán inmediatamente a qué nos referimos.

Desde un punto de vista observacional, seguimos constatando que los modelos de lenguaje grande (LLM), cuando se les pide que escriban de forma creativa y auténtica —por ejemplo, un artículo de opinión, una reseña o un relato corto de ficción—, siguen produciendo textos insulsos y carentes de imaginación. Creemos que esto se debe, fundamentalmente, al objetivo de optimización de predecir completamientos de alta probabilidad, al tiempo que se evitan los pensamientos e ideas originales que se salen de la distribución.

Valoramos los textos originales de nuestros semejantes porque pueden ofrecernos una perspectiva nueva o una forma diferente de pensar, no porque sean lo que cualquiera diría. Mientras este valor siga siendo válido, siempre habrá necesidad de detectar la IA, y siempre habrá una forma de resolverlo.