El detector de IA de Pangram demuestra un excelente rendimiento en más de 20 idiomas

Hace dos meses, Pangram lanzó el primer modelo multilingüe de detección de IA. ¡Ahora estamos listos para anunciar una actualización! Pangram ya es compatible oficialmente con los 20 idiomas más utilizados en Internet y, aunque no de manera oficial, ofrece buenos resultados en muchos más. Observamos un rendimiento especialmente sólido y notablemente mejorado en árabe, japonés, coreano e hindi.

Resultados

En nuestro conjunto de datos oficial, evaluamos unos 2 000 documentos por idioma. La parte generada por humanos es una mezcla de reseñas reales, artículos de prensa y entradas de Wikipedia. La parte generada por IA consiste en un conjunto de ensayos, artículos de prensa y entradas de blog que le pedimos a GPT-4o que redactara con diferentes longitudes, estilos y temas.

¿Qué hemos cambiado?

Estos son los principales cambios que hemos introducido para mejorar nuestra asistencia multilingüe:

• Llevamos a cabo una campaña de aprendizaje activo con datos a escala web, centrada en los 20 idiomas más utilizados en Internet.

• Hemos modificado el tokenizador para que admita mejor los idiomas distintos del inglés.

• Hemos aumentado el número de parámetros del modelo base y de los adaptadores LoRA.

• Aplicamos una técnica de aumento de datos para traducir automáticamente una parte aleatoria de nuestro conjunto de datos antes del entrenamiento.

• Hemos corregido un error en el recuento de palabras que provocaba que las lenguas de Asia Oriental quedaran accidentalmente infrarrepresentadas en el conjunto de entrenamiento.

Campaña de aprendizaje activo

La base fundamental de nuestro proceso de creación de modelos con índices de falsos positivos extremadamente bajos es el aprendizaje activo: en pocas palabras, exploramos Internet anterior a 2022 en busca de ejemplos en los que nuestro modelo obtiene malos resultados (por ejemplo, falsos positivos), añadimos esos ejemplos a nuestro conjunto de entrenamiento, volvemos a entrenar el modelo y repetimos el proceso. Detallamos este algoritmo en nuestro informe técnico.

Podemos aplicar nuestro enfoque de aprendizaje activo a algunos grandes conjuntos de datos multilingües de la web para encontrar textos multilingües con los que nuestro modelo actual tiene dificultades, y luego utilizar estos datos para iterar, junto con nuestra amplia biblioteca de indicaciones para crear «espejos sintéticos»: texto generado por IA que se asemeja a los falsos positivos extraídos que hemos encontrado. Aunque nos centramos en los 20 idiomas principales de Internet, eliminamos el paso de filtrado por idioma de nuestro proceso de datos: esto significa que el texto de todos los idiomas es válido para la extracción de falsos negativos y su inclusión en nuestro conjunto de entrenamiento.

Una de las ventajas de nuestro enfoque de aprendizaje activo es que reequilibra automáticamente la distribución de idiomas en función de la precisión de nuestro modelo. Los idiomas con pocos recursos están infrarrepresentados en Internet, pero debido a este desequilibrio de clases, nuestro primer modelo obtiene inicialmente malos resultados con dichos idiomas, lo que hace que, durante la fase de extracción de ejemplos negativos difíciles, se seleccione una mayor cantidad de texto procedente de idiomas poco comunes. A lo largo del proceso de aprendizaje activo, observamos que los datos de idiomas con abundantes recursos, como el inglés, el español y el chino, disminuyen gradualmente en proporción en nuestro conjunto de entrenamiento, mientras que los idiomas menos comunes aumentan en proporción. Consideramos que esta es una solución relativamente elegante para la distribución desequilibrada natural de los datos en el entrenamiento de modelos multilingües. A través de nuestro algoritmo de aprendizaje activo, el modelo es capaz de seleccionar por sí mismo los datos en los idiomas de los que necesita ver más.

Modificaciones arquitectónicas

Para mejorar el soporte del texto multilingüe en el dominio de entrada, también queríamos asegurarnos de que el LLM base que utilizamos para construir nuestro clasificador dominara con soltura muchos idiomas distintos del inglés. Realizamos un análisis exhaustivo de varios modelos base LLM y tokenizadores en nuestro conjunto de datos para encontrar el que ofreciera el mejor rendimiento general entre una amplia gama de idiomas distintos del inglés. Descubrimos que el rendimiento en pruebas comparativas multilingües no parece guardar una fuerte correlación con el rendimiento del modelo base en nuestra tarea de detección de IA: en otras palabras, aunque el modelo base pueda resolver tareas de razonamiento y responder a preguntas en otros idiomas, la eficacia de la transferencia de habilidades a la detección multilingüe de IA varía enormemente.

También observamos que los modelos iniciales que entrenamos tendían a subajustarse a la nueva distribución multilingüe; al principio registramos una pérdida de entrenamiento más elevada. Por ello, aumentamos el tamaño del modelo base y el número de parámetros de nuestros adaptadores LoRA, y además entrenamos el modelo durante más pasos. (Dado que nos encontramos en un régimen de aprendizaje activo y gran volumen de datos, casi nunca entrenamos durante más de una época. En este caso, ¡solo tuvimos que ampliar la duración de la época!)

Aumento de datos

Incluso con el aprendizaje activo, la diversidad de los datos en idiomas distintos del inglés es notablemente menor que la diversidad y el volumen de los datos en inglés disponibles en Internet, y no podemos subsanar completamente esta situación simplemente reequilibrando la distribución lingüística en el conjunto de entrenamiento. Por decirlo de forma simplificada, hay algunos datos en inglés que son valiosos, pero que simplemente no existen o no tienen un equivalente nativo en otros idiomas. Por lo tanto, decidimos aplicar aleatoriamente una ampliación mediante traducción automática a una pequeña parte de nuestro conjunto de datos (en nuestro caso, utilizamos Amazon Translate).

Aunque no es habitual aplicar aumentos basados en traducción automática al conjunto de entrenamiento en el entrenamiento de modelos de lenguaje a gran escala (LLM), debido a que los datos traducidos automáticamente suelen resultar poco naturales y adolecen de un estilo «artificial», en nuestro caso, al no estar entrenando un modelo generativo, no parece afectar a la calidad de los resultados y hemos observado mejoras en nuestras métricas al aplicar este aumento.

Análisis comparativo: español

Tomamos el español como ejemplo característico de una lengua con abundantes recursos, que antes ya era compatible con Pangram Text, pero que ahora ha mejorado considerablemente. Medimos la tasa de falsos positivos en diversos ámbitos.

También medimos la tasa de falsos negativos (la proporción en la que el texto generado por IA se clasifica erróneamente como humano) en diversos modelos de lenguaje a gran escala. En este experimento, elaboramos una lista de indicaciones para que los modelos de lenguaje a gran escala generaran ensayos, entradas de blog y artículos de prensa de diversa extensión y estilo, y luego tradujimos las indicaciones al español. Los propios modelos de lenguaje a gran escala son multilingües, por lo que responden a las instrucciones en español.

Como podemos ver, nuestro modelo actualizado logra una detección perfecta en todos los modelos de lenguaje grande (LLM) sometidos a prueba, lo que supone una mejora significativa con respecto a nuestra versión anterior.

Comparativa: árabe y japonés

Dos de los idiomas en los que más nos hemos centrado para mejorar su cobertura son muy hablados en el mundo, pero en realidad son menos habituales en Internet: el árabe y el japonés.

Anteriormente no ofrecíamos compatibilidad con estos dos idiomas, por lo que los índices de falsos negativos eran extremadamente elevados. Ahora predecimos con gran fiabilidad el árabe y el japonés generados por IA.

Como podemos ver, nuestro modelo actualizado logra una detección casi perfecta en todos los modelos de lenguaje grande (LLM) sometidos a prueba, tanto en árabe como en japonés, con una tasa de falsos negativos de tan solo un 0,21 % en el caso de Gemini 1.5 Pro en japonés.

Los resultados completos de las pruebas de rendimiento del lenguaje están disponibles previa solicitud.

¿Y ahora qué?

Aunque nuestro modelo ofrece un buen rendimiento con textos web originales, a veces le cuesta detectar el «lenguaje de traducción», es decir, textos mal traducidos o que, por cualquier motivo, no suenan naturales. Para empeorar las cosas, ahora mucha gente utiliza modelos de lenguaje grande (LLM), como ChatGPT, directamente para tareas de traducción. ¿Debería clasificarse el texto traducido por un LLM como humano o como IA? Depende de lo torpe que sea la traducción y también del uso que se le vaya a dar posteriormente. Un profesor de español podría considerar que el uso de la traducción automática en un trabajo es una falta de honestidad académica, pero una editorial podría querer permitir que las obras traducidas pasen su proceso de control de calidad. Pangram está trabajando activamente para entender el texto traducido como una «tercera modalidad» que se sitúa en algún punto intermedio entre lo humano y la IA, y para proporcionar más información a nuestros usuarios, de modo que los consumidores finales de nuestro modelo puedan decidir qué es lo más adecuado para ellos.

¿Tienes más preguntas? ¡Escríbenos a info@pangram.com!