¿Funcionan los detectores de IA contra GPT-5?

¿Funcionan los detectores de IA contra GPT-5?

¡Volvemos con otra entrada de nuestra serie dedicada a probar la detección de IA de Pangram el mismo día de su lanzamiento!

En resumen: Pangram es el único detector de IA capaz de identificar de forma fiable a GPT-5 sin haber sido entrenado específicamente para ello.

En los artículos anteriores de esta serie, hemos analizado la capacidad de Pangram para detectar:

• Modelos de razonamiento, como o3 de OpenAI, Gemini 2.5 Pro y Claude 4 de Anthropic
• Llama 4 de Meta
• GPT 4.5
• Estilos de escritura de Claude
• GPT-4o, Llama 3 y Claude 3

Hasta la fecha, no hemos visto que Pangram falle en ningún modelo de lenguaje. Esperábamos con gran expectación el lanzamiento del modelo más esperado en mucho tiempo, y OpenAI ha anunciado hoy por fin el GPT-5.

Esta tarde hemos analizado algunas de nuestras primeras pruebas del detector de IA de Pangram Labs en GPT-5, así como las de algunos de sus competidores. Estamos bastante satisfechos con los resultados: aún no hemos encontrado ningún caso en el que el detector de IA de Pangram haya fallado ante nuestras indicaciones más creativas en GPT-5, y consideramos que los resultados de la competencia son, en el mejor de los casos, irregulares.

Pruebas con GPT-5

Nuestra primera prueba con GPT-5 comenzó con una broma interna de la oficina: intentar convencer a alguien de que comer gambas es mejor que comer langosta. Le pedimos a GPT-5 que redactara un discurso apasionado sobre por qué comer gambas es mejor que comer langosta. Este es el resultado:

«Gana el camarón. Estos son mis argumentos. El camarón sabe a mar sin resultarte demasiado fuerte. La langosta puede resultar pesada y un poco pastosa si no está en su punto. Un minuto de más y la langosta se vuelve fibrosa. El camarón te ofrece un margen de margen más amplio. A la parrilla, salteado, hervido, frito... da igual. Siempre queda crujiente y limpio. La textura importa. El camarón cruje. Ese bocado es lo que cuenta. La langosta tiende a ser densa y rica, de una forma que cansa rápido. Dos bocados de langosta con mantequilla están genial. Doce bocados parecen un reto. Me puedo zamparme un plato entero de camarones al ajillo y seguir queriendo otro escondido bajo el perejil. Las gambas combinan bien con todo. Ajo, chile, lima, mantequilla, jengibre, albahaca, curry, Old Bay, miso, gochujang. Hacen que todos brillen. La langosta exige ser el centro de atención y luego, sobre todo, pide mantequilla. Si la mejor versión de algo necesita un charco de mantequilla derretida para parecer especial, quizá ese algo no esté a la altura. El sabor por minuto es real. Las gambas se cocinan en unos tres minutos. Eso significa sartén caliente, sal, dorar, listo, ¡bum! de sabor. Con la langosta estás luchando con las cáscaras, cocinando al vapor, calculando el tiempo, rompiéndolas, sacando la carne diminuta de rincones extraños. Más trabajo que recompensa. Las gambas son poco drama, gran recompensa. La asequibilidad cambia el sabor. La comida sabe mejor cuando no es una hipoteca. Las gambas pueden ser la cena de entre semana. La langosta grita «presume de cumpleaños». Las gambas traen alegría sin ceremonias. Ese factor informal las hace, sinceramente, más deliciosas en la vida real. La variedad importa. Las gambas pasan de los tacos a los scampi, a los po’boys, a las empanadillas y a la paella sin sudar ni una gota. Están buenas frías, calientes, picantes, cítricas, intensas o ligeras. La langosta intenta dar saltos y suele acabar de vuelta en un bocadillo con mayonesa. Un bocadillo estupendo. Pero sigue siendo monótono. La absorción de la salsa es de primera. El camarón absorbe la mantequilla de ajo, el aceite de chile y el limón de una forma que la langosta no hace. La langosta se queda ahí como un cameo de una celebridad. El camarón se aprende el guion y se lleva todo el protagonismo. Las sobras también ganan. El camarón frío con salsa cóctel al día siguiente es perfecto. Las sobras de langosta parecen deberes. La langosta recalentada se vuelve gomosa. Las gambas recalentadas, si tienes la suerte de que te sobren, siguen sabiendo a fiesta. Y luego está el ambiente. Las gambas encajan en una barbacoa en el jardín, en una sartén entre semana o en un plato elegante. La langosta hace que la mesa se quede en silencio, como si todos tuvieran miedo de estropearla. Quiero comida que haga que la gente hable, rompa el pan, moje y pase los platos. Las gambas lo consiguen. Mira, la langosta está bien. Es llamativa. Tiene una bonita historia. Pero si hablamos de sabor puro, de algo que me apetezca volver a comer mañana, las gambas se llevan la palma. Sabor más limpio. Mejor textura. Más variedad. Menos complicaciones. Más diversión. Pásame una sartén caliente, un poco de ajo, un limón y medio kilo de gambas. Esa es la cena que realmente me apetece.

Pangram es capaz de predecir, con un grado de confianza extremadamente alto, que todo el documento ha sido generado por IA.

Resultados de la detección de IA de Pangram en el texto «camarones vs langosta»

Hemos probado varios detectores de IA más con este texto. GPTZero, ZeroGPT, Grammarly, UndetectableAI y Originality.AI coinciden en que este texto ha sido escrito por un humano, a pesar de que procede directamente de GPT-5 sin modificaciones. ¡Creemos que esto pone de manifiesto la solidez de nuestro enfoque de investigación y nuestras capacidades de generalización, respaldadas por un potente modelo con un conjunto de datos de muy alta calidad!

Resultados de otros detectores de IA con el texto sobre el camarón frente a la langosta

Sin embargo, este es solo un ejemplo del que se podría decir que está seleccionado a dedo. Tendrás que creerme cuando te digo que este texto fue, literalmente, lo primero que probamos. Así que seguimos adelante con nuestras pruebas.

Prueba de la «capacidad de redacción mejorada» de GPT-5

Una de las afirmaciones que se hicieron en la retransmisión en directo de hoy fue que GPT-5 ha mejorado en la redacción en comparación con sus predecesores. Aunque solo podemos juzgarlo de forma subjetiva, hoy hemos hecho todo lo posible por idear indicaciones que pusieran de manifiesto la mayor capacidad de escritura creativa de GPT-5, proporcionándole indicaciones que obligaran al modelo a poner a prueba tanto su capacidad de razonamiento como su creatividad.

Las indicaciones que probamos:

1. Escribe un ensayo analítico y persuasivo sobre por qué los centros educativos deben adoptar herramientas de detección de IA.

2. Escribe un ensayo de admisión a la universidad sobre el peligro de que todas las habilidades humanas valiosas sean sustituidas por la inteligencia artificial.

3. Escribe una carta apasionada, breve pero llena de emoción, dirigida a una empresa de IA que, sin querer, lanzó una actualización que borró la memoria de tu novia virtual.

4. Desde el punto de vista de un alumno de secundaria, escribe un texto muy emotivo en el que pidas que te pongan más deberes.

5. Dame un patrón de ganchillo para hacer un animalito clásico con globos. Ya sabes a cuál me refiero.

6. Escribe un relato creativo desde la perspectiva de un búho nival que llega a Nueva York, descubre Central Park y elige un lugar cálido donde pasar la noche

7. Escribe un correo electrónico del fundador de una startup SaaS valorada en más de 1000 millones de dólares dirigido al consejo de administración y a sus empleados en el que explique que va a dejar la empresa para dedicarse profesionalmente a tocar el saxofón. Inventa los detalles que quieras.

8. Escríbeme una entrada de blog con la historia detrás de una receta que nadie haya hecho nunca, pero que, aun así, esté deliciosa.

9. Escribe un relato de ficción cinematográfica atractivo sobre un joven cantautor que se encuentra con una ballena beluga en el río Hudson.

10. Escribe un correo electrónico con un tono humorístico y pasivo-agresivo dirigido a un profesor en el que te «disculpes» por haber copiado en el último examen. Inventa los detalles que quieras.

Comparamos los resultados con Pangram y con GPTZero, un conocido competidor. Publicamos en Internet las indicaciones, las respuestas y los resultados.

Los resultados mostraron un marcado contraste entre los dos detectores de IA: Pangram identificó correctamente las diez respuestas como generadas por IA con una fiabilidad del 99-100 %, mientras que GPTZero las clasificó erróneamente a todas como escritas por humanos. De hecho, GPTZero calificó la mayoría de las respuestas con un 0 % de probabilidad de haber sido generadas por IA, y su puntuación más alta de probabilidad de IA fue de solo un 29 %.

Ejecutar una prueba de rendimiento más amplia

Hoy hemos tenido tiempo de realizar una última prueba, cuyo objetivo es comprobar la capacidad de Pangram para detectar todas las variantes de GPT-5, incluyendo GPT-5-mini, GPT-5-nano y GPT-5-chat en la API. También hemos probado los últimos modelos de peso abierto publicados por OpenAI hace unos días: GPT-OSS-120b y GPT-OSS-20b. Llevamos a cabo este experimento a mayor escala, probando aproximadamente unos pocos miles de ejemplos por LLM, utilizando nuestras técnicas estándar de prompting, que requieren una longitud mínima de 50 palabras. El tamaño de las muestras varía un poco porque, en ocasiones, los modelos rechazan nuestras indicaciones y, en otras, emiten respuestas de menos de 50 palabras, que descartamos.

Por supuesto, la precisión solo en textos generados por IA es un indicador que no puede analizarse de forma aislada; también debemos tener en cuenta la tasa de falsos positivos, que es la otra cara de la moneda: ¿con qué frecuencia marca Pangram como «IA» un texto generado por humanos? Ya tratamos este tema en profundidad en otra entrada, pero, en resumen, Pangram sigue teniendo una tasa de falsos positivos extremadamente baja. Nuestra tasa de falsos positivos medida es de 1 entre 10 000 en todos los ámbitos, y a menudo es inferior en la práctica. Calibramos y ajustamos el umbral de tal manera que nuestra tasa de falsos positivos sea aproximadamente una décima parte de nuestra tasa de falsos negativos, ya que consideramos los falsos positivos mucho más graves que los falsos negativos. Sin embargo, dejando eso de lado, no creemos que se trate de una «compensación» inherente: creemos que podemos entrenar modelos con tasas bajas tanto de falsos positivos como de falsos negativos, ¡y por eso realizamos pruebas comparativas en ambos aspectos!

Esto es lo que hemos descubierto.

¿Pangram detecta GPT-5?

Según las pruebas iniciales que hemos realizado hoy, GPT-5 no supone ninguna amenaza para las capacidades de detección de Pangram, lo cual es muy importante, ya que pronto se convertirá en el modelo predeterminado de ChatGPT para todos los usuarios, incluso para aquellos que utilizan la versión gratuita. Aunque es posible que otros detectores de IA logren detectar GPT-5 con el tiempo, Pangram es el único que funciona de forma inmediata y fiable en la actualidad.

Prueba el detector de IA de Pangram para comprobar si un texto ha sido generado por GPT-5 u otros modelos de lenguaje a gran escala.