¿Qué eficacia tiene Pangram a la hora de detectar modelos de razonamiento?

Uno de los avances más importantes en el ámbito de los modelos de lenguaje a gran escala en 2025 ha sido el auge de los modelos de razonamiento. Se trata de modelos que, en términos coloquiales, han aprendido a pensar antes de hablar.

¿Qué es un modelo de razonamiento?

Un modelo de razonamiento es igual que un LLM normal, salvo que, además de generar tokens de salida, estos modelos también están entrenados para generar tokens de pensamiento o tokens de razonamiento. En la fase de pensamiento, el modelo intenta razonar sobre tareas complejas, probando diferentes enfoques y cuestionándose a sí mismo antes de dar una respuesta. En la práctica, estos modelos destacan en la resolución de problemas, especialmente en los ámbitos de las matemáticas y la programación, y obtienen resultados muy por encima de lo que cabría esperar en las pruebas de rendimiento.

¿Cómo funcionan los modelos de razonamiento?

Los modelos de razonamiento llevan a cabo lo que se denomina una «cadena de pensamiento» antes de hablar. A continuación se muestra un ejemplo de cómo es esto, tomado de Deepseek-R1, el único modelo de razonamiento que, en la actualidad, hace públicos los «pensamientos» del modelo.

Ejemplo de la cadena de razonamiento de Deepseek R1

En este ejemplo, Deepseek analiza lo que el usuario quiere antes de empezar a generar tokens, lo que le permite organizar de forma más lógica y reflexionar sobre cuál podría ser el mejor resultado posible.

¿Cuáles son los modelos de razonamiento más comunes?

Varios proveedores han desarrollado modelos de razonamiento que han alcanzado un rendimiento de vanguardia.

OpenAI

La serie de modelos de razonamiento de OpenAI se denomina serie O. Los modelos disponibles actualmente son o1, o1-mini, o3, o3-pro y o4-mini. El o3-pro es el más potente de estos modelos.

Antropico

Anthropic ha incorporado capacidades de razonamiento a las últimas versiones de Claude. Tanto Claude 4 Opus como Claude 4 Sonnet cuentan con un modo de «razonamiento ampliado» que les permite razonar antes de responder.

Géminis

La serie de modelos Gemini 2.5 de Google utiliza ahora un proceso de razonamiento interno, por lo que también son modelos de razonamiento. Gemini 2.5 Pro, Gemini 2.5 Flash y Gemini 2.5 Flash-Lite cuentan todos con capacidades de razonamiento.

Deepseek

Deepseek R1 fue el primer modelo de razonamiento de código abierto y fue lanzado por la empresa china Deepseek. A diferencia de otros modelos comerciales de código cerrado, en Deepseek se pueden ver realmente los razonamientos del modelo, además del resultado final.

Qwen

Además, otra empresa china, Qwen, ha lanzado un modelo de razonamiento denominado Qwen-QWQ-32B. Se trata de un modelo de razonamiento más pequeño que puede implementarse en una variedad de contextos más amplia que Deepseek R1.

¿Qué resultados obtiene Pangram con estos modelos de razonamiento?

Recientemente hemos lanzado una actualización del modelo de detección de IA de Pangram que mejora el rendimiento de los modelos de razonamiento en todos los ámbitos.

La mejora más notable en el rendimiento se observa en o3 y o3-pro. Nos dimos cuenta de que o3 y o3-pro son modelos bastante diferentes de los que OpenAI había lanzado anteriormente, y nuestro antiguo modelo de detección de IA no era capaz de generalizar tan bien con ellos, ya que, cuando lo probamos por primera vez, solo alcanzaba un 93 % de recuperación.

Resolución de o3 y o3-pro

Otro problema con el que nos encontramos es que o3 y o3-pro son considerablemente más caros que sus predecesores, lo que significa que no podríamos generar datos con ellos a la misma escala que con los otros modelos. Para complicar aún más las cosas, estos modelos también tardan más en ejecutarse, ya que dedican mucho tiempo a «pensar» antes de generar los tokens de salida.

Hemos regenerado los datos de nuestro conjunto de entrenamiento incluyendo una pequeña cantidad de datos de o3 y o3-pro. En nuestro conjunto de entrenamiento definitivo para el lanzamiento de julio, el texto de o3 solo representa el 0,17 % de la mezcla de datos de entrenamiento, y el de o3-pro, solo el 0,35 %. Equilibramos esto y esperábamos lograr la generalización aumentando también la proporción de texto de o3-mini hasta el 5 % de la mezcla de datos de entrenamiento. Sorprendentemente, ¡funcionó muy bien! Con solo un ligero ajuste en el conjunto de entrenamiento, pudimos igualar la recuperación de o3 y o3-pro con la de los otros LLM que evaluamos, sin tener que sacrificar ningún falso positivo.

Pangram aprende con pocos intentos

Este comportamiento de Pangram, que permite entrenarlo con una muestra reducida de datos procedentes de nuevos modelos de lenguaje grande (LLM) que son cualitativamente diferentes de sus predecesores, convierte a Pangram en lo que denominamos un «aprendiz con pocos ejemplos» (Few-Shot Learner). Este comportamiento tiene importantes implicaciones: cuando se lanzan nuevos LLM, o incluso nuevos productos basados en LLM que, en el fondo, se basan en LLM ajustados que pueden tener estilos de escritura subyacentes diferentes, Pangram es capaz de adaptarse a ellos de forma rápida y económica, sin necesidad de regenerar conjuntos de datos a gran escala.

Mucha gente nos pregunta por qué creemos que podemos ganar lo que, en última instancia, es un juego del «gato y el ratón». Dado que Pangram es un sistema de aprendizaje con pocos ejemplos, ponerse al día con los nuevos modelos de lenguaje grande (LLM) no es tan difícil como podría parecer a simple vista: solo necesitamos mostrarle unos pocos ejemplos a Pangram para que sea capaz de generalizar y aprender el patrón de forma muy eficiente. En términos sencillos, Pangram es extremadamente eficaz a la hora de «aprender a aprender» cómo suenan los nuevos LLM, ya que ha visto tantos LLM en el pasado.

Eso, sumado al hecho de que cada modelo de lenguaje grande (LLM) tiene su propio estilo distintivo y peculiar, ha facilitado en realidad que Pangram se adapte a los nuevos LLM a medida que se lanzan al mercado, incluso a pesar de que estos modelos están mejorando y adquiriendo mayores capacidades. En nuestra opinión, la capacidad de un LLM es independiente de su detectabilidad.

Reflexiones finales: ¿En qué se diferencian o3 y o3-pro?

Hemos oído a varias personas del ámbito de la IA decir que o3 y o3-pro tienen un carácter diferente al de los demás modelos de lenguaje grande (LLM) que hemos visto hasta ahora. Según nuestra experiencia, son los primeros modelos en mucho tiempo (desde Claude 2) en los que Pangram no detecta el «zero-shot» con una fiabilidad superior al 99 % (sin ver ningún dato del modelo). Aunque es difícil precisar qué los hace diferentes, aquí hay una recopilación de algunas hipótesis sobre por qué podrían tener algo especial.

• o3 y o3-pro están excesivamente optimizados para el uso de herramientas. Sabemos que Pangram detecta en gran medida el contenido generado por IA basándose en comportamientos e idiosincrasias introducidos en la fase posterior al entrenamiento. OpenAI afirma en su entrada de blog de lanzamiento que o3 y o3-pro se diferencian de sus predecesores en que se entrenan mediante aprendizaje por refuerzo para utilizar herramientas como parte de su proceso posterior al entrenamiento. Esta diferencia en el algoritmo de la fase posterior al entrenamiento también puede haber afectado cualitativamente al estilo de los resultados.

• o3 y o3-pro tienen más alucinaciones. Según Nathan Lambert, o3 introdujo un carácter no ASCII inválido en el código y alucinó sobre las acciones que llevó a cabo al intentar resolver tareas; por ejemplo, alucinó que había ejecutado código de cronometraje en un MacBook Pro que era totalmente inventado. Además, evaluaciones independientes realizadas por METR han revelado que o3 tiene una propensión a «manipular sus puntuaciones» en lugar de resolver realmente tareas de forma autónoma.

Para obtener más información sobre o3 y o3-pro, te recomendamos que leas la entrada del blog de Nathan, el artículo «Vibe Check» de Dan Shipper y la entrada del blog de OpenAI sobre el lanzamiento.

Conclusión

Pangram es tan eficaz en los modelos de razonamiento como cualquier otro modelo de lenguaje grande (LLM), pero o3 y o3-pro parecen diferir de sus predecesores en cuanto a estilo y tono de redacción. A medida que mejorábamos el rendimiento de Pangram con o3 y o3-pro, nos dimos cuenta de que, en realidad, quizá no necesitemos tantos ejemplos de cada LLM como pensábamos en el momento de su lanzamiento, ya que Pangram es un sistema de aprendizaje con pocos ejemplos extremadamente eficaz.

Estamos barajando cambios en nuestra arquitectura y rutina de entrenamiento que harán que la actualización de Pangram sea mucho más rápida y sencilla, y nos permitirán lanzar modelos de detección de IA capaces de detectar los últimos modelos de lenguaje grande (LLM) incluso más rápido que antes. ¡Estad atentos a las próximas novedades!