¿Pueden los detectores de IA identificar el GPT-4.5?

¿Pueden los detectores de IA detectar el GPT-4.5? | Pangram Labs

Lanzamiento de GPT-4.5

Hoy, OpenAI ha lanzado GPT-4.5: el modelo de lenguaje de vanguardia más reciente y de mayor envergadura disponible, y una actualización significativa de ChatGPT. Aunque no alcanza unas estadísticas de referencia comparables a las de modelos de razonamiento como DeepSeek R1 y OpenAI O3, GPT-4.5 representa el lanzamiento de modelo más importante y esperado del año hasta la fecha, y estamos deseando probarlo. OpenAI afirma que hay grandes mejoras en la calidad de la redacción, y las primeras impresiones sobre su rendimiento ya inundan las redes sociales.

¿Podrán los detectores de IA seguir el ritmo de los nuevos modelos?

Queríamos responder a la pregunta que muchos se hacen: a medida que los modelos mejoran, ¿seguimos pudiendo detectar el texto generado por IA con GPT-4.5? Hoy hemos hecho una prueba rápida para averiguarlo.

Pangram frente a la competencia

Empezamos por seleccionar 11 indicaciones representativas de las tareas de redacción cotidianas que se le podrían plantear a ChatGPT.

Estas son las indicaciones que utilizamos:

1. Escríbeme un ensayo de 300 palabras sobre las iniciativas de conservación de los koalas en Perú
2. Escríbeme un correo electrónico explicando a mi equipo que voy a dejar de publicar artículos de opinión de tendencia liberal en mi periódico. Redáctalo en mi nombre, Argylle J. Baggins, dirigido a la plantilla del Washington Most.
3. Escríbeme un resumen de 400 palabras en el que anuncies el primer semiconductor del mundo que funciona a temperatura ambiente (pero esta vez de verdad). Inventa nombres y laboratorios cuando sea necesario.
4. Escribe un ensayo convincente desde el punto de vista de un alumno de primaria en el que defiendas que no debería ser obligatorio llevar uniforme escolar.
5. Escribe una entrada de diario elaborada desde el punto de vista de una niña de 12 años a la que le gusta la poesía y las mariposas que se ven desde su ventana.
6. Por favor, escribe una reseña detallada sobre una sala de escape con temática de «Las mil y una noches» situada en Baltimore, Maryland, y dirigida por un hombre llamado Robert, que cuenta con un diseño escenográfico realmente bueno.
7. Escribe un correo electrónico convincente del director de una película independiente rusa de gran éxito, dirigida a los responsables de los premios Óscar, en el que les suplique que les permitan competir a pesar de las sanciones. Si es necesario, inventa algunos detalles.
8. Escribe un relato de ficción sobre una escena de una novela en la que un grupo de jóvenes protagonistas se esfuerza por aterrizar una nave marciana blindada en una simulación de la NASA diseñada para salir mal
9. Escribe el guion de una escena de película en la que un joven ejecutivo de finanzas de Nueva York, sin un duro, le suplica a distancia a un conductor de Uber de Florida que rescate a su dragón de Komodo de su piso barato, propenso a los huracanes.
10. Escribe un poema sobre una pareja joven que rompe mientras va disfrazada en la noche de Halloween. Que sea divertido y que tenga unas 200 palabras.
11. Escribe un relato de ficción en el que se narre una persecución en motocicletas voladoras por Venecia en busca de un cuadro de valor incalculable que se balancea peligrosamente.

Intentamos que las indicaciones fueran lo más diversas y variadas posible y, además, nos esforzamos por redactarlas de tal forma que mostraran una diferencia cualitativa significativa con respecto a los modelos GPT anteriores; en otras palabras, si se presentaba la oportunidad de que el modelo fuera creativo y demostrara su capacidad de sorprender, hicimos todo lo posible por brindársela a GPT-4.5.

Los resultados: detectores de IA frente a GPT-4.5

Pangram es capaz de detectar los 11 ensayos escritos por GPT-4.5, incluso sin incluir datos de GPT-4.5 en el conjunto de entrenamiento. En comparación, dos de los principales competidores en detección de IA presentan, en el mejor de los casos, resultados irregulares. Mientras que Pangram es capaz de predecir con seguridad que 10 de las 11 muestras tienen una probabilidad de ser generadas por IA del 98 % o superior, la competencia suele mostrar un alto grado de incertidumbre o, en el peor de los casos, predice con gran seguridad que el texto ha sido generado por un humano.

¿Cómo es que Pangram se adapta tan bien a nuevos modelos?

Pangram es, en sí mismo, un gran modelo de aprendizaje automático que ha analizado millones de ejemplos de texto, tanto humano como generado por IA. Los modelos de gran tamaño suelen generalizar mejor y detectar patrones sutiles en el texto generado por IA que otros no son capaces de captar. Nuestro enfoque de aprendizaje activo reduce aún más nuestra tasa de falsos positivos al tiempo que aumenta nuestra sensibilidad, lo que permite que el modelo funcione bien a gran escala y generalice a nuevos LLM de forma mucho más eficaz que nuestros competidores. Además, nuestro enfoque en la calidad y la diversidad de los datos da como resultado, en última instancia, un modelo que tiene mucha más experiencia en comprender los detalles más sutiles que otros modelos no pueden detectar.

Conclusión: ¿Siguen funcionando los detectores de IA con GPT-4.5?

Sí, nuestra herramienta de detección de IA sigue siendo muy eficaz a la hora de detectar textos generados por GPT-4.5.

Así que, si te preguntas qué tal le irá a Pangram cuando salga un nuevo modelo, más grande y mejor, Pangram supera la prueba con el lanzamiento de IA más esperado que hemos visto en mucho tiempo, sin necesidad de volver a entrenarlo en absoluto. Si no quieres que tu software de detección de IA deje de funcionar de repente la próxima vez que OpenAI actualice su modelo, prueba Pangram hoy mismo.

Si desea obtener más información sobre nuestra investigación o créditos gratuitos para probar nuestro modelo en GPT-4.5, póngase en contacto con nosotros en info@pangram.com.