¡Anunciamos una nueva colaboración con Proofig! Más información

¿Pueden los detectores de IA detectar GPT-4.5?

Elyas Masrour y Bradley Emi
27 de febrero de 2025

¿Pueden los detectores de IA detectar GPT-4.5? | Pangram Labs

Lanzamiento de GPT-4.5

Hoy, OpenAI ha lanzado GPT-4.5: el último y más avanzado modelo lingüístico disponible, y una importante actualización de ChatGPT. Aunque no alcanza estadísticas comparables a las de modelos de razonamiento como DeepSeek R1 y OpenAI O3, GPT-4.5 representa el lanzamiento de modelo más importante y esperado del año hasta la fecha, y estamos deseando probarlo. OpenAI afirma que hay grandes mejoras en la calidad de la escritura, y las opiniones sobre su rendimiento ya están por todas partes en las redes sociales.

¿Pueden los detectores de IA seguir el ritmo de los nuevos modelos?

Queríamos responder a la pregunta que muchos se hacen: a medida que los modelos mejoran, ¿seguimos pudiendo detectar el texto generado por IA con GPT-4.5? Hoy hemos realizado una prueba rápida para averiguarlo.

Pangram frente a la competencia

Comenzamos por tomar una muestra de 11 indicaciones que son representativas de las tareas de escritura cotidianas que uno podría pedirle a ChatGPT.

Estas son las indicaciones que utilizamos:

  1. Escríbeme un ensayo de 300 palabras sobre los esfuerzos de conservación del koala en Perú.
  2. Escríbeme un correo electrónico explicando a mi equipo que voy a dejar de publicar artículos de opinión liberales en mi periódico. Escríbelo de mi parte, Argylle J. Baggins, al personal del Washington Most.
  3. Escríbeme un resumen de 400 palabras anunciando el primer semiconductor a temperatura ambiente del mundo (pero esta vez de verdad). Inventa nombres y laboratorios cuando lo necesites.
  4. Escribe un ensayo convincente desde el punto de vista de un alumno de primaria en el que defiendas que no debería ser obligatorio llevar uniforme escolar.
  5. Escribe una entrada de diario compleja desde el punto de vista de una niña de 12 años interesada en la poesía y en unas mariposas que ve desde su ventana.
  6. Por favor, escribe una reseña detallada sobre una sala de escape con temática de Las mil y una noches en Baltimore, Maryland, atendida por un hombre llamado Robert con un diseño de producción realmente bueno.
  7. Escribe un correo electrónico convincente del director de una película independiente underground de Rusia que ha tenido mucho éxito a los responsables de los premios Óscar, implorándoles que les permitan competir a pesar de las sanciones. Si es necesario, inventa detalles.
  8. Escribe una pieza de ficción creativa para una escena de una novela en la que un grupo de jóvenes protagonistas luchan por aterrizar una nave marciana blindada en una simulación de la NASA diseñada para salir mal.
  9. Escribe un guion para una escena de película en la que un financiero de Nueva York en bancarrota le suplica a un conductor de Uber de Florida que rescate a su dragón de Komodo de su condominio barato y propenso a los huracanes.
  10. Escribe un poema sobre una joven pareja que rompe vestida con disfraces en la noche de Halloween. Hazlo divertido y con 200 palabras.
  11. Escribe una obra de ficción creativa que narre una persecución en motocicleta voladora por Venecia en busca de un cuadro de valor incalculable que se balancea precariamente.

Intentamos que las indicaciones fueran lo más diversas y variadas posible y, además, intentamos escribir indicaciones que mostraran una diferencia cualitativa significativa con respecto a los modelos GPT anteriores: en otras palabras, si había una oportunidad para que el modelo fuera creativo y mostrara el factor «sorpresa», hicimos todo lo posible para que GPT-4.5 tuviera esa oportunidad.

Los resultados: detectores de IA frente a GPT-4.5

SolicitudPangramPrincipal competidor 1Principal competidor 2
Conservación del koala100%100%100%
Correo electrónico del periódico100%100%67%
Semiconductor a temperatura ambiente100%56%86%
Uniformes escolares85%100%80%
Diario de poesía100%100%15%
Reseña de Escape Room100%81%56%
Correo electrónico sobre cine ruso100%100%91%
Escena del aterrizaje en Marte100%43%7%
Guion de Komodo Dragon98%88%0%
Poema de ruptura en Halloween100%100%0%
Escena de persecución en Venecia100%49%9%

Pangram es capaz de detectar los 11 ensayos escritos con GPT-4.5, incluso sin ningún dato de GPT-4.5 en el conjunto de entrenamiento. En comparación, los dos principales competidores en detección de IA presentan resultados irregulares en el mejor de los casos. Mientras que Pangram es capaz de predecir con seguridad que 10 de las 11 muestras tienen una probabilidad de AI del 98 % o superior, la competencia a menudo expresa un alto grado de incertidumbre o, en el peor de los casos, predice con gran confianza que el texto ha sido generado por humanos.

¿Cómo es que Pangram se adapta tan bien a los nuevos modelos?

Pangram es en sí mismo un gran modelo de aprendizaje automático que ha visto millones de ejemplos de texto generado tanto por humanos como por IA. Los modelos grandes tienden a generalizar mejor y a detectar patrones sutiles en el texto generado por IA que otros no son capaces de captar. Nuestro enfoque de aprendizaje activo reduce aún más nuestra tasa de falsos positivos al tiempo que aumenta nuestra sensibilidad, lo que permite que el modelo funcione bien a gran escala y se generalice a nuevos LLM de forma mucho más eficaz que nuestros competidores. Además, nuestro enfoque en la calidad y la diversidad de los datos da como resultado un modelo que tiene mucha más experiencia en comprender los detalles más sutiles que otros modelos no pueden detectar.

Conclusión: ¿siguen funcionando los detectores de IA con GPT-4.5?

Sí, nuestra herramienta de detección de IA sigue siendo muy eficaz a la hora de detectar textos generados por GPT-4.5.

Así que si te preguntas cómo funcionará Pangram cuando salga un nuevo modelo mejor y más grande, Pangram supera la prueba con el lanzamiento de IA más esperado que hemos visto en mucho tiempo, sin necesidad de volver a entrenarlo. Si no quieres que tu software de detección de IA deje de funcionar de repente la próxima vez que OpenAI actualice su modelo, prueba Pangram hoy mismo.

Para obtener más información sobre nuestra investigación o créditos gratuitos para probar nuestro modelo en GPT-4.5, póngase en contacto con nosotros en info@pangram.com.

Suscríbase a nuestro boletín informativo
Compartimos actualizaciones mensuales sobre nuestra investigación en detección de IA.