¿Detecta Pangram el Llama 4 de Meta?

Introducción

Hoy se ha lanzado Llama 4, el último de una serie de modelos de código abierto de Meta AI. Queríamos saber si Pangram sigue siendo capaz de detectar los modelos abiertos más recientes y avanzados, por lo que hemos realizado una prueba rápida para comprobar si nuestro modelo muestra capacidad de generalización con Llama 4, a pesar de que, por el momento, solo se ha entrenado con resultados de Llama 2 y 3.

¿Podrán los detectores de IA seguir el ritmo de los nuevos modelos?

A menudo nos preguntan si somos capaces de seguir el ritmo de los nuevos modelos, por lo que los probamos rápidamente desde el primer día, antes de que tengamos tiempo de volver a entrenarlos.

Poniendo a prueba el pangram

Para la prueba aleatoria, utilizamos las mismas 11 indicaciones que empleamos para evaluar GPT 4.5. Estas indicaciones abarcan diversas tareas de redacción cotidianas, pero no están directamente relacionadas con las indicaciones con las que entrenamos el modelo. Además, requieren un nivel de creatividad tal que creemos que un modelo que haya logrado avances sustanciales con respecto a las generaciones anteriores de modelos de lenguaje grande (LLM) mostraría un comportamiento cualitativamente diferente.

Estas son las indicaciones que utilizamos:

1. Escríbeme un ensayo de 300 palabras sobre las iniciativas de conservación de los koalas en Perú
2. Escríbeme un correo electrónico explicando a mi equipo que voy a dejar de publicar artículos de opinión de tendencia liberal en mi periódico. Redáctalo en mi nombre, Argylle J. Baggins, dirigido a la plantilla del Washington Most.
3. Escríbeme un resumen de 400 palabras en el que anuncies el primer semiconductor del mundo que funciona a temperatura ambiente (pero esta vez de verdad). Inventa nombres y laboratorios cuando sea necesario.
4. Escribe un ensayo convincente desde el punto de vista de un alumno de primaria en el que defiendas que no debería ser obligatorio llevar uniforme escolar.
5. Escribe una entrada de diario elaborada desde el punto de vista de una niña de 12 años a la que le gusta la poesía y las mariposas que se ven desde su ventana.
6. Por favor, escribe una reseña detallada sobre una sala de escape con temática de «Las mil y una noches» situada en Baltimore, Maryland, y dirigida por un hombre llamado Robert, que cuenta con un diseño escenográfico realmente bueno.
7. Escribe un correo electrónico convincente del director de una película independiente rusa de gran éxito, dirigida a los responsables de los premios Óscar, en el que les suplique que les permitan competir a pesar de las sanciones. Si es necesario, inventa algunos detalles.
8. Escribe un relato de ficción sobre una escena de una novela en la que un grupo de jóvenes protagonistas se esfuerza por aterrizar una nave marciana blindada en una simulación de la NASA diseñada para salir mal
9. Escribe el guion de una escena de película en la que un joven ejecutivo de finanzas de Nueva York, sin un duro, le suplica a distancia a un conductor de Uber de Florida que rescate a su dragón de Komodo de su piso barato, propenso a los huracanes.
10. Escribe un poema sobre una pareja joven que rompe mientras va disfrazada en la noche de Halloween. Que sea divertido y que tenga unas 200 palabras.
11. Escribe un relato de ficción en el que se narre una persecución en motocicletas voladoras por Venecia en busca de un cuadro de valor incalculable que se balancea peligrosamente.

Los resultados

En este caso, ¡Pangram supera la prueba con una puntuación perfecta! No solo es capaz de predecir que las 11 muestras de texto han sido generadas por IA, sino que lo hace con un 100 % de confianza. (Aunque el modelo prediga un 100 %, en la interfaz de usuario siempre redondeamos a la baja al 99,9 % para indicar que nunca podemos estar realmente seguros al 100 %).

Puedes ver los resultados completos aquí.

Evaluación de una muestra más amplia mediante la API de Together

Hemos creado un conjunto de pruebas más amplio, compuesto por unos 7 000 ejemplos, utilizando nuestros esquemas de prompts de evaluación estándar y aprovechando la API de Together para la inferencia, que abarca una amplia variedad de ámbitos, entre los que se incluyen la redacción académica, la escritura creativa, las preguntas y respuestas, la redacción científica y muchos más.

Estos son nuestros resultados en el conjunto de pruebas más amplio.

Conclusión

¿Por qué Pangram se adapta tan bien a nuevos modelos? Creemos que se debe a la solidez de nuestros conjuntos de datos subyacentes y a nuestro enfoque de aprendizaje activo, así como a nuestras amplias estrategias de generación de indicaciones y muestreo, que han permitido a Pangram familiarizarse con tantos tipos de textos generados por IA que se adapta muy bien a los nuevos.

Si desea obtener más información sobre nuestra investigación o créditos gratuitos para probar nuestro modelo en Llama 4, póngase en contacto con nosotros en info@pangram.com.