Presentamos la identificación mediante IA: Pangram es capaz de distinguir entre los distintos modelos de lenguaje grande (LLM)

Pangram es el software líder en la detección de textos generados por IA, como los escritos por ChatGPT, Claude, Gemini y otros, y en la distinción entre textos escritos por IA y textos escritos por humanos.

Ahora vamos un paso más allá y lanzamos un modelo avanzado que no solo es capaz de detectar contenidos generados por IA, sino que también puede determinar de qué modelo de lenguaje grande (LLM) procede un texto generado por IA. A nuestra nueva tecnología la llamamos «Identificación de IA».

Identificación mediante IA

Intuitivamente, la gente está empezando a darse cuenta de que los distintos modelos de lenguaje grande (LLM) tienen estilos de redacción diferentes. Por ejemplo, ChatGPT es conocido por ser bastante directo y conciso, Claude por ser más fluido y coloquial, Grok por ser descarado y provocador, y Deepseek-R1 está empezando a destacar por ser divagador y prolijo.

Graham Neubig se burla de las diferentes tendencias estilísticas de los modelos de lenguaje grande (LLM)

Ethan Mollick reflexiona sobre la agradable personalidad de Claude Sonnet.

Un estudio reciente de Lisa Dunlap y sus colaboradores de la Universidad de California en Berkeley analizó las diferencias cualitativas (o, en términos coloquiales, el «toque» o «estilo») de diferentes modelos de lenguaje grande (LLM). Descubrieron muchos aspectos interesantes, como que «Llama es más divertido, utiliza más formato, ofrece más ejemplos y hace muchos menos comentarios sobre ética que GPT y Claude». La conclusión es que el rendimiento de los modelos no siempre coincide con las preferencias humanas: aunque GPT-4 y Claude-3.5 son modelos más avanzados que la serie Llama, Llama siempre parece rendir por encima de lo que cabría esperar en Chatbot Arena, una clasificación de LLM basada en el sistema Elo y en la colaboración colectiva, que se basa en las preferencias sobre las respuestas a las mismas preguntas. ¿Son los modelos que obtienen buenos resultados en Chatbot Arena más inteligentes y capaces, o simplemente están tratando de manipular la psicología humana de una manera que los hace más «simpáticos»? Y dado que algunos modelos son más útiles y simpáticos que otros, ¿es siquiera importante que puedan ser menos capaces de resolver problemas de razonamiento de nivel de doctorado? Estas son preguntas que vale la pena estudiar, y que son importantes para comprender la utilidad de sistemas como Chatbot Arena frente a las evaluaciones de modelos tradicionales.

En Pangram nos preguntamos si sería posible que nuestro modelo utilizara estas características para identificar y diferenciar estos modelos de lenguaje grande (LLM) entre sí.

Sistema de identificación mediante IA de Pangram

Del mismo modo que entrenamos nuestro modelo básico de detección de IA para distinguir los textos generados por IA de los escritos por humanos, también entrenamos ese mismo modelo de detección para identificar la IA mediante una técnica denominada «aprendizaje multitarea». En la práctica, clasificamos los distintos modelos lingüísticos en nueve familias, que hemos determinado tras una exhaustiva labor de experimentación.

Las familias son las siguientes:

1. GPT-3.5
2. GPT-4 (incluye GPT-4o, GPT-4-turbo y GPT-4o-mini)
3. Modelos de razonamiento de OpenAI
4. Claude
5. Google (incluye tanto las variantes de Gemini como Gemma)
6. Grok
7. DeepSeek
8. Amazon Nova
9. Otros (incluye LLaMA, Mistral, Qwen y otros derivados de código abierto de estos modelos)

En la práctica, lo conseguimos añadiendo otra «capa» a nuestra red neuronal. Al supervisar la tarea de detección de IA, también supervisamos la tarea de identificación de IA, pasando la etiqueta del modelo a la red y realizando una retropropagación del error tanto en la identificación de IA como en la predicción de detección.

Fuente de la imagen: GeeksForGeeks

Casi todas las capas del modelo son comunes a ambas tareas, y solo la capa de predicción final está dividida.

En el aprendizaje multitarea observamos que algunas tareas se benefician mutuamente cuando se aprenden juntas, mientras que otras se perjudican entre sí. En biología, un concepto similar es la idea de simbiosis frente a parasitismo. Por ejemplo, un pez payaso que vive en una anémona de mar es un ejemplo de simbiosis: el pez payaso se alimenta de los depredadores que pueden dañar a la anémona, mientras que el pez payaso se protege de sus propios depredadores camuflándose y escondiéndose dentro de la anémona.

Hemos observado que añadir la tarea de identificación de los LLM complementa a la tarea de detección de los LLM. En otras palabras, pedir a nuestro modelo que no solo detecte textos generados por IA, sino que también identifique el modelo del que proceden, resulta útil en general para poder detectar la IA. Otros investigadores también han confirmado que los distintos LLM no solo se pueden distinguir del texto humano, sino que también se pueden distinguir entre sí.

Una incrustación es una representación de un fragmento de texto en forma de vector numérico. Los valores concretos de la incrustación no tienen sentido por sí solos, pero cuando dos incrustaciones están próximas entre sí, eso significa que tienen un significado similar o un estilo similar. Mediante una técnica llamada UMAP, podemos visualizar las incrustaciones, que son de muy alta dimensión, en un espacio bidimensional. Estos autores han descubierto que, cuando los documentos escritos por humanos y por modelos de lenguaje grande (LLM) se convierten en incrustaciones de estilo, como se puede ver en la imagen de arriba, ¡todos los documentos correspondientes al mismo LLM son separables en el espacio de incrustación! Esto significa que, en general, todos los documentos escritos por el mismo LLM tienen un estilo más cercano entre sí que los escritos por diferentes LLM, o por LLM y humanos.

Este resultado nos dio la confianza de que era posible crear un clasificador capaz de identificar el modelo de lenguaje grande (LLM) de origen.

Precisión de la identificación mediante IA

Nuestro modelo tiene una precisión del 93 % a la hora de identificar la familia de LLM correcta de la que procede un texto generado por IA. A continuación se muestra la matriz de confusión, que indica la frecuencia con la que nuestro modelo identifica correctamente cada familia de LLM (celdas diagonales) frente a la frecuencia con la que confunde una LLM con otra (celdas fuera de la diagonal). Cuanto más oscuro es el color, más predicciones se incluyen en esa celda. Un modelo perfecto tendría cuadrados oscuros solo a lo largo de la diagonal y cuadrados blancos en el resto de la matriz.

Algunas observaciones interesantes sobre nuestra matriz de confusión:

• Las confusiones son más frecuentes entre las distintas familias de modelos. Por ejemplo, a menudo se confunde GPT-4 con la serie de modelos de razonamiento de OpenAI. Esto tiene sentido, ya que es probable que GPT-4 sea un componente o un punto de partida para los modelos de razonamiento de OpenAI.

• El modelo confunde con mayor frecuencia los modelos de lenguaje grande (LLM) con la categoría «Otros» que con modelos concretos. Esto demuestra que, en los casos en los que el modelo no está seguro, tiende más a recurrir a la opción «Otros» que a comprometerse con un modelo de lenguaje grande concreto.

Aunque el clasificador LLM no es perfecto, suele ser preciso y, lo que es más importante, cuando se equivoca, confunde ciertos sistemas de IA con otros sistemas de IA, pero no confunde los resultados de los sistemas de IA con textos escritos por personas reales.

¿Por qué es importante la identificación mediante IA?

Creíamos que era importante ir más allá de la detección de IA y abordar también la identificación de IA por varias razones.

• En primer lugar, creemos que enseñar al modelo a distinguir los estilos de redacción de diferentes modelos de lenguaje grande (LLM), lo cual es una tarea más compleja que limitarse a identificar si algo es fruto de la IA o no, resulta útil para mejorar el rendimiento del propio detector de IA. Al pedirle al modelo que vaya más allá, este adquiere, en cierto modo, habilidades avanzadas y conocimientos latentes que le ayudan a generalizar y detectar textos generados por IA con mayor precisión.

• La interpretabilidad es otra de las razones por las que queremos mostrar los resultados del clasificador de LLM. Queremos generar confianza en que el modelo realmente sabe lo que está haciendo en segundo plano y no se limita a hacer conjeturas al azar (como muchos otros detectores aleatorios). Al mostrar no solo la puntuación de IA, sino también de qué LLM procede el texto, esperamos generar confianza en la capacidad del modelo para comprender los matices del estilo de redacción de la IA.

• Por último, queremos identificar tendencias a lo largo del tiempo: ¿qué modelos de lenguaje grande (LLM) se utilizan en la práctica y con qué frecuencia? ¿Cuáles son los modelos de lenguaje grande preferidos por los estudiantes, los estafadores y los programadores? Este es el tipo de preguntas que ahora esperamos poder responder en futuros estudios.

Conclusión

Esperamos que disfrutes probando nuestra función de identificación mediante IA y que te resulte útil para comprender las personalidades y los estilos propios de las diferentes familias de modelos de lenguaje grande (LLM). Para obtener más información, ponte en contacto con nosotros en info@pangram.com.