O Detector de IA da Pangram demonstra um excelente desempenho em mais de 20 idiomas

Há dois meses, a Pangram lançou o primeiro modelo multilingue de deteção por IA. Agora, estamos prontos para anunciar uma atualização! A Pangram suporta agora oficialmente as 20 principais línguas da Internet e, de forma não oficial, apresenta um bom desempenho em muitas outras. Observamos um desempenho especialmente sólido e significativamente melhorado em árabe, japonês, coreano e hindi.

Resultados

Avaliámos cerca de 2 000 documentos por idioma no nosso conjunto de dados de treino oficial. A parte humana é uma mistura de críticas reais, artigos de notícias e artigos da Wikipédia. A parte de IA é um conjunto de ensaios, artigos de notícias e publicações de blogues que solicitámos ao GPT-4o que escrevesse em vários comprimentos, estilos e temas.

O que é que alterámos?

Eis as principais alterações que introduzimos para melhorar o nosso suporte multilingue:

• Realizámos uma campanha de aprendizagem ativa com dados à escala da Web, centrada nas 20 principais línguas da Internet.

• Alterámos o tokenizador para oferecer um melhor suporte a idiomas que não o inglês.

• Aumentámos o número de parâmetros do modelo base e dos adaptadores LoRA.

• Aplicámos um método de aumento de dados para traduzir automaticamente uma parte aleatória do nosso conjunto de dados antes do treino.

• Corrigimos um erro na contagem de palavras que fazia com que as línguas do Leste Asiático fossem acidentalmente sub-representadas no conjunto de treino.

Campanha de Aprendizagem Ativa

A base fundamental do nosso processo de criação de modelos com taxas de falsos positivos extremamente baixas é a aprendizagem ativa: em termos simples, exploramos a Internet anterior a 2022 em busca de exemplos em que o nosso modelo apresenta um desempenho fraco (por exemplo, falsos positivos), adicionamos esses exemplos ao nosso conjunto de treino, voltamos a treinar o modelo e repetimos o processo. Descrevemos este algoritmo em pormenor no nosso relatório técnico.

Podemos aplicar a nossa abordagem de aprendizagem ativa a alguns grandes conjuntos de dados multilingues na Web para identificar textos multilingues com os quais o nosso modelo atual tem dificuldades e, em seguida, utilizar esses dados para iterar, juntamente com a nossa vasta biblioteca de prompts, na criação de espelhos sintéticos: textos gerados por IA que se assemelham aos falsos positivos identificados. Embora nos concentremos nas 20 principais línguas da Internet, removemos a etapa de filtragem de línguas do nosso pipeline de dados: isto significa que textos em todas as línguas são elegíveis para a mineração de falsos negativos e para inclusão no nosso conjunto de treino.

Uma das vantagens da nossa abordagem de aprendizagem ativa é que reequilibra automaticamente a distribuição das línguas com base na precisão do nosso modelo. As línguas com poucos recursos estão sub-representadas na Internet, mas devido a este desequilíbrio de classes, o nosso primeiro modelo apresenta inicialmente um desempenho fraco nessas línguas, o que faz com que mais texto proveniente de línguas menos comuns seja destacado na fase de mineração de exemplos negativos difíceis. Ao longo do processo de aprendizagem ativa, observamos que os dados de línguas com muitos recursos, como o inglês, o espanhol e o chinês, diminuem gradualmente em proporção no nosso conjunto de treino, enquanto as línguas menos comuns aumentam em proporção. Consideramos que esta é uma solução relativamente elegante para a distribuição naturalmente desequilibrada dos dados no treino de modelos multilingues. Através do nosso algoritmo de aprendizagem ativa, o modelo é capaz de selecionar por si próprio os dados nas línguas de que precisa de ver mais.

Alterações arquitetónicas

Para melhor suportar texto multilingue no domínio de entrada, também queríamos garantir que o LLM de base que utilizamos para construir o nosso classificador fosse igualmente fluente em muitas línguas que não o inglês. Realizámos uma análise exaustiva de várias estruturas LLM e tokenizadores no nosso conjunto de dados para encontrar aquele que apresenta, de um modo geral, o melhor desempenho numa vasta gama de línguas não inglesas. Descobrimos que o desempenho em benchmarks multilingues não parece estar fortemente correlacionado com o desempenho da estrutura na nossa tarefa de deteção por IA: por outras palavras, mesmo que o modelo base consiga resolver tarefas de raciocínio e responder a perguntas noutras línguas, a eficácia da transferência de competências para a deteção multilingue por IA varia extremamente.

Constatámos também que os nossos modelos iniciais, que treinámos, tendiam a apresentar um subajuste à nova distribuição multilingue — observámos inicialmente uma perda de treino mais elevada. Para tal, aumentámos o tamanho do modelo base, bem como o número de parâmetros nos nossos adaptadores LoRA, e treinámos o modelo durante mais iterações. (Como estamos num regime de aprendizagem ativa / grande volume de dados, quase nunca treinamos por mais de 1 época. Neste caso, tivemos apenas de aumentar a duração da época!)

Aumento de dados

Mesmo com a aprendizagem ativa, a diversidade de dados em línguas que não o inglês é visivelmente inferior à diversidade e ao volume de dados em inglês disponíveis online, e não conseguimos corrigir totalmente essa situação simplesmente reequilibrando a distribuição linguística no conjunto de treino. Dito de forma simplificada, há alguns dados em inglês que são valiosos, mas que simplesmente não existem ou não têm um paralelo nativo noutros idiomas. Assim, decidimos aplicar aleatoriamente um aumento de tradução automática a uma pequena fração do nosso conjunto de dados (no nosso caso, utilizámos o Amazon Translate).

Embora não seja prática comum aplicar aumentos de tradução automática ao conjunto de treino no treino de LLM, devido ao facto de os dados traduzidos automaticamente serem frequentemente pouco naturais e apresentarem um estilo de tradução pouco natural, no nosso caso, uma vez que não estamos a treinar um modelo generativo, isso não parece afetar a qualidade dos resultados e observámos melhorias nas nossas métricas após a aplicação deste aumento.

Avaliação comparativa: Espanhol

Tomamos o espanhol como um exemplo característico de uma língua com muitos recursos, que anteriormente era suportada pelo Pangram Text, mas que agora foi significativamente melhorada. Medimos a taxa de falsos positivos em vários domínios.

Também medimos a taxa de falsos negativos (a taxa em que o texto gerado por IA é classificado incorretamente como sendo de autoria humana) para vários modelos de linguagem de grande escala. Nesta experiência, elaborámos uma lista de prompts para que os LLMs gerassem ensaios, publicações de blogue e artigos de notícias com diversos comprimentos e estilos, e depois traduzimos os prompts para espanhol. Os próprios LLMs são multilingues, pelo que respondem às instruções em espanhol.

Como podemos ver, o nosso modelo atualizado alcança uma deteção perfeita em todos os LLMs testados, representando uma melhoria significativa em relação à nossa versão anterior.

Avaliação comparativa: árabe e japonês

Duas das línguas em que nos concentrámos mais para melhorar são amplamente faladas no mundo, mas são, na verdade, menos comuns na Internet: o árabe e o japonês.

Anteriormente, não oferecíamos suporte a estas duas línguas, pelo que as taxas de falsos negativos eram extremamente elevadas. Agora, conseguimos prever com grande fiabilidade o árabe e o japonês gerados por IA.

Como podemos ver, o nosso modelo atualizado alcança uma deteção quase perfeita em todos os LLMs testados, tanto para o árabe como para o japonês, com apenas uma ligeira taxa de falsos negativos de 0,21% no Gemini 1.5 Pro em japonês.

Os resultados completos dos testes de desempenho estão disponíveis mediante solicitação.

E agora?

Embora o nosso desempenho seja sólido em textos web originais, o nosso modelo tem, por vezes, dificuldade em detetar o «jargão de tradução» — textos mal traduzidos ou que, de alguma forma, não soam naturais. Para piorar a situação, muitas pessoas estão agora a utilizar LLMs como o ChatGPT diretamente para tarefas de tradução. Os textos traduzidos por LLMs devem ser classificados como humanos ou como IA? Depende do grau de artificialidade da tradução e também do caso de utilização na aplicação final. Um professor de espanhol pode considerar o uso de tradução automática numa tarefa como desonestidade académica, mas uma editora pode querer permitir que obras traduzidas passem pelo seu processo de controlo de qualidade. A Pangram está a trabalhar ativamente para compreender o texto traduzido como uma «terceira modalidade» que se situa algures entre o humano e a IA, e para fornecer mais informações aos nossos utilizadores, para que os consumidores a jusante do nosso modelo possam decidir o que é mais adequado para eles.

Tem mais perguntas? Contacte-nos através do e-mail info@pangram.com!