As últimas novidades na investigação sobre deteção de IA

Grande plano de pétalas de flores azuis sobre um fundo cinzento claro.

A Pangram continua a afirmar-se como uma referência na deteção de conteúdos gerados por IA. A nossa abordagem e o nosso modelo, líderes no setor, aparecem regularmente nos estudos mais recentes na área da deteção de IA; por isso, hoje, gostaríamos de destacar alguns estudos recentes e as suas conclusões!

Estudo 1: As pessoas que utilizam frequentemente o ChatGPT para tarefas de escrita são capazes de identificar com precisão e segurança textos gerados por IA

Visão geral do estudo

Neste artigo, investigadores da Universidade de Maryland estudam a capacidade humana de detetar textos gerados por IA. Recrutaram anotadores com diferentes níveis de familiaridade com os modelos de linguagem de grande escala (LLMs) para lerem 300 artigos de não ficção e tentarem classificá-los como escritos por humanos ou gerados por IA. Concluíram que as pessoas que utilizam frequentemente os LLMs para tarefas de escrita se destacam na detecção de textos gerados por IA, mesmo sem formação específica.

O que isso diz sobre o pangram

O estudo compara a capacidade humana com a de «detetores automáticos» (também conhecidos como Pangram). Veja os resultados:

Tabela de investigação que compara anotadores humanos especializados e detetores automáticos com base na taxa de verdadeiros positivos em textos do GPT-4o, Claude, parafraseados, o1-Pro e humanizados. O Pangram Humanizers obtém uma pontuação global de 99,3 por cento e o Pangram 98,0, à frente do GPTZero com 85,3, do Fast-DetectGPT com 80,0, do Binoculars com 66,7 e do RADAR com 15,3.

O modelo Humanizer da Pangram (mais informações abaixo) e a própria Pangram foram, de longe, os melhores detectores, identificando 100% de todo o texto gerado por IA. Ambos os nossos modelos mantiveram também uma elevada robustez face à parafraseação e à humanização, mantendo uma taxa de deteção de 90%.

Para mais informações:

Consulte o estudo publicado aqui

Estudo 2: Desafio de deteção de texto gerado por máquinas em vários domínios

Visão geral do estudo

Neste estudo, investigadores da Universidade da Pensilvânia procuraram avaliar se os detetores seriam capazes de se adaptar a um conjunto fixo de modelos de IA, tipos de documentos e «ataques adversariais» (tentativas de tornar o texto gerado por IA mais difícil de detetar). Concluíram que «os detetores são capazes de detetar de forma robusta texto proveniente de vários domínios e modelos em simultâneo». Se alguém lhe disser que os detetores de IA não funcionam, basta mostrar-lhe este estudo!

O que isso diz sobre o pangram

Tabela de classificação intitulada «Subtarefa B: Desempenho face a ataques adversários», que apresenta a precisão de deteção em onze tipos de ataque. O Leidos v1.0.2 e o Pangram empatam em primeiro lugar com um total de 97,7, seguidos por outras versões do Leidos, com um desempenho médio de 64,3 nas 27 entradas.

Ali está o Pangram, no topo! Ficámos em primeiro lugar, empatados com um detetor de uma equipa de investigação da Leidos que foi concebido e treinado especificamente para este estudo.

Para mais informações:

Leia aqui o nosso artigo completo sobre este tema e consulte aqui o estudo publicado !

Estudo 3: ESPERANTO: Avaliação de frases sintetizadas para melhorar a robustez na deteção por IA da origem do texto

Visão geral do estudo

Este estudo analisa um ataque denominado «back-translation», no qual os autores mal-intencionados traduzem o texto para várias línguas antes de o traduzirem de volta para inglês, com o objetivo de escapar à deteção por IA. Concluíram que é possível manter o significado semântico do texto, reduzindo significativamente a detetabilidade do texto gerado por IA (na maioria dos detetores 😄).

O que isso diz sobre o pangram

A Tabela 3 apresenta as taxas de verdadeiros positivos dos métodos de deteção antes e depois da retrotradução em nove conjuntos de dados. O Pangram mantém-se acima de 0,93 na maioria das colunas; por exemplo, varia entre 0,969 e 0,936 no conjunto «News», enquanto o GPTZero desce de 0,97 para 0,42 e o ZeroGPT de 0,95 para 0,17.

Como se pode ver, o Pangram apresenta a melhor robustez em todas as categorias. Embora a retrotradução possa, por vezes, reduzir para metade ou quase para um quarto a taxa de deteção dos concorrentes, o Pangram mantém-se robusto.

Para mais informações:

Consulte aqui a nossa publicação inicial no blogue e aqui o estudo publicado !

Bónus: A investigação da própria Pangram

Se estiver interessado em saber mais sobre a investigação que a Pangram realiza internamente para melhorar o nosso modelo, pode ler mais sobre esses estudos aqui:

DAMAGE: Detecção de texto gerado por IA e modificado de forma adversária

Relatório técnico sobre o classificador de texto gerado por IA do Pangram

Empenho na investigação

Na Pangram, estamos empenhados em promover a investigação nesta área e, por isso, oferecemos acesso gratuito e ilimitado a académicos interessados em estudar a deteção de IA com a Pangram. Quer saber mais? Contacte-nos através do endere ço info@pangram.com