¡El detector de pangramas basado en IA ya es multilingüe!

Foto de Valentín Antonucci.

Nos complace anunciar una importante actualización de Pangram Text, nuestro modelo insignia de detección de IA. Pangram Text ahora puede detectar textos generados por IA en español, francés, italiano, portugués, alemán, ruso y chino mandarín, con la misma precisión líder en el sector que la que ofrece con los textos escritos en inglés. Estamos implementando nuestro nuevo modelo multilingüe para proteger de inmediato a las plataformas en línea contra el spam generado por IA.

Análisis comparativo

Para comprobar la precisión de nuestro modelo en idiomas distintos del inglés, utilizamos tres corpus multilingües amplios y variados de distintos ámbitos: reseñas multilingües de Amazon, Wikipedia y XLSum (BBC News International).

Para la parte humana de la prueba comparativa, tomamos una muestra aleatoria de documentos que superan nuestros filtros de control de validez. Para la parte de IA de la prueba comparativa, utilizamos una combinación de GPT-3.5, GPT-4 y GPT-4o. En primer lugar, le pedimos al modelo de lenguaje grande (LLM) que resuma el documento real, por ejemplo: «¿De qué trata esta reseña?». A continuación, le pedimos que genere una reseña, un artículo o una noticia a partir del resumen. Generar la prueba de rendimiento de esta manera elimina la posibilidad de ruido en las etiquetas, además de garantizar que las distribuciones de datos humanos y de IA sean lo más similares posible entre sí.

Preguntas frecuentes

• ¿Cómo actualizaste el modelo para que fuera compatible con estos idiomas?

Dado que nuestro modelo se basa en una arquitectura similar a la de los modelos de lenguaje a gran escala modernos, utilizamos un preentrenamiento a gran escala para garantizar que nuestra estructura básica se entrene con un amplio corpus multilingüe antes de ajustar el módulo de detección de IA. También utilizamos un tokenizador compatible con numerosos idiomas, entre ellos el ruso y el chino.

• ¿Por qué elegiste precisamente estos idiomas?

Hemos elegido los idiomas que representan la mayor parte de los idiomas que se utilizan en Internet.

• ¿Qué ocurre si envío un texto en un idioma que no está admitido?

Utilizamos Amazon Comprehend para detectar el idioma del texto introducido. Si el idioma no es compatible, devolveremos «Idioma no compatible» como resultado.

• ¿Mejorará el modelo con el tiempo?

Sí, esperamos lanzar futuras actualizaciones con un rendimiento mejorado en idiomas distintos del inglés a medida que seguimos ampliando nuestro conjunto de datos multilingüe mediante el aprendizaje activo.

• ¿Y qué hay de otros idiomas?

Tenemos previsto añadir más idiomas en el futuro. Si hay algún idioma que te gustaría que incluyéramos, ¡no dudes en decírnoslo!

Escríbenos a info@pangram.com para obtener más información sobre la detección multilingüe mediante IA.