Um estudo independente revela que o Pangram é o detector de IA mais robusto

Um estudo independente revela que o Pangram é o detector de IA mais robusto

Investigadores da Universidade de Houston, da UC Berkeley, da UC Irvine e da startup Esperanto AI descobriram que o Pangram é o detetor de texto baseado em IA mais robusto entre uma ampla variedade de métodos, tanto comerciais como de código aberto. No artigo, intitulado «Esperanto: Avaliação de frases sintetizadas para melhorar a robustez na deteção por IA da origem do texto», os investigadores estudaram os efeitos da tradução linguística na capacidade dos detetores de IA.

Como burlar os detetores de IA utilizando tradutores

É sabido que uma forma de contornar a deteção de IA consiste em passar um texto gerado por IA pelo Google Translate para uma língua estrangeira e, em seguida, voltar a traduzir esse texto para inglês, o que pode ajudar um adversário (ou simplesmente um estudante inteligente com falta de tempo) a escapar aos programas de deteção de IA. Na Pangram, chamamos internamente a este ataque de «dupla tradução», e os investigadores referem-se a ele como «backtranslation». Eis um exemplo de dupla tradução. Pedimos ao ChatGPT para escrever algum texto para nós. Primeiro, traduzimos o texto para japonês e, em seguida, traduzimo-lo de volta para inglês. Notamos que algumas das frases mudaram devido ao facto de o software de tradução não ser perfeito e de, muitas vezes, haver várias maneiras de dizer a mesma coisa. Isto tem um efeito semelhante ao que uma ferramenta de parafraseamento como o Quillbot faz.

Texto gerado pelo ChatGPT Texto traduzido duas vezes Um exemplo de tradução dupla

Muitos dos nossos concorrentes não são resistentes a esta vulnerabilidade. Acima está um dos detectores de IA da concorrência mais comuns atualmente em uso no mercado. Vemos que o modelo consegue detetar IA diretamente a partir do ChatGPT, mas, após passar por uma tradução dupla, apenas prevê 15% de IA.

Resultados do GPTZero Uma ferramenta concorrente popular classifica corretamente o texto original da IA, mas classifica incorretamente o texto traduzido duas vezes como escrito por humanos.

O Pangram, no entanto, consegue identificar tanto o texto original do ChatGPT como o texto traduzido duas vezes como sendo, em 99,99%, de origem artificial. Não só conseguimos determinar que se trata de um texto gerado por IA, como também podemos afirmar com segurança que a fonte original foi o GPT-4. Os investigadores propuseram-se a estudar este fenómeno em termos gerais e em grande escala.

Resultados do pangram O Pangram identifica corretamente tanto o texto original quanto o texto traduzido duas vezes como gerado por IA.

Estudo do efeito da retradução em 720 000 documentos

Um único exemplo não é suficiente para provar que o nosso detetor é robusto e que os outros não o são. No estudo, os investigadores recolheram milhares de artigos noticiosos, resumos de artigos científicos, publicações no Reddit e críticas de produtos cuja autoria humana foi confirmada. Em seguida, geraram vários exemplos de IA utilizando o GPT-3.5-Turbo, o LLaMA 3, o Mistral, o Phi3 e o Yi.

Em geral, mesmo antes de se recorrer a um ataque de tradução, muitos dos métodos de código aberto e dos detetores comerciais são, na verdade, completamente ineficazes.

Em primeiro lugar, foi definido um limiar: isto significa selecionar o valor percentual a partir do qual consideramos que um documento é gerado por IA. A maioria dos detectores de IA apresenta uma percentagem como resultado final. Para colocar todos os detectores em condições comparáveis, os limiares foram definidos de forma a que cada modelo apresentasse uma taxa de falsos positivos de 1%. Assim, a precisão do detector pode ser comparada como a fração de verdadeiros positivos: quantos exemplos de IA consegue cada detector identificar com esse limiar?

Muitos dos outros métodos analisados no artigo falham completamente na deteção de conteúdos gerados por IA. Por exemplo, o ZeroGPT e o GPTZero nem sequer conseguem atingir uma taxa de falsos positivos de 1 % em qualquer limiar em alguns domínios, e artigos académicos amplamente citados, como o RADAR e o LLMDet, apresentam uma precisão inferior a 50 %.

A métrica proposta para avaliar o desempenho consiste em medir o TPR com uma taxa de falsos positivos (FPR) de 1%: ou seja, partindo de uma taxa de falsos positivos constante de 1%, com que frequência o modelo consegue detetar texto gerado por IA? O ZeroGPT nem sequer consegue atingir uma taxa de falsos positivos de 1% em qualquer limiar na maioria dos domínios, e artigos académicos amplamente citados, como o RADAR e o LLMDet, atingem valores bem abaixo dos 50% nesta métrica.

Entretanto, o Pangram atinge uma taxa de recuperação superior a 96 % em todos os domínios com uma taxa de falsos positivos (FPR) de 1 %, e chega mesmo aos 85 % no exigente conjunto de dados de comentários, que contém comentários com apenas 40 a 50 palavras (o que está bem abaixo do nosso limiar recomendado de número de palavras para a deteção de IA em ambiente comercial).

Após um ataque de tradução dupla, muitos dos detetores deixam de funcionar completamente. O GPTZero, por exemplo, passa de 97 % para apenas 42 % no domínio das notícias e de 65 % para 9 % no domínio das críticas. Os investigadores concluem: «Os resultados do GPTZero e do ZeroGPT indicam uma falta de robustez face às técnicas de retradução… O Pangram demonstra um certo grau de robustez, especialmente em textos mais longos.»

Os resultados completos são apresentados aqui. O Pangram apresenta um desempenho superior em todas as categorias.

Tabela de resultados comparativa de detectores de IA Tabela de resultados do artigo em esperanto mostrando a robustez do Pangram

Conclusão

Esta investigação reforça ainda mais a nossa afirmação de que o Pangram é o único software de deteção de IA atualmente disponível no mercado que funciona com fiabilidade suficiente para ser utilizado em contextos académicos e comerciais, e que não pode ser contornado através de artifícios como a tradução dupla.

Isto não é um acaso nem uma coincidência. A robustez do Pangram é prova de um modelo poderoso que sabe generalizar e que se baseia em grandes conjuntos de dados e na nossa abordagem de aprendizagem ativa direcionada. Embora qualquer pessoa possa criar uma ferramenta de deteção por IA que funcione algumas vezes ou mesmo na maioria das vezes, a nossa abordagem escalável é a única forma de alcançar uma precisão fiável e consistente que não falhe completamente quando o texto é modificado ou alterado.

Estamos sempre a trabalhar para melhorar o desempenho e a robustez do nosso modelo de deteção por IA. Mantemo-nos a par das últimas investigações na área da aprendizagem automática adversária e testamos constantemente o nosso próprio modelo contra potenciais ataques e formas de contornar o sistema.

Em breve teremos mais informações sobre este assunto!