As últimas novidades na investigação sobre deteção de IA

A Pangram continua a emergir como uma autoridade na deteção de conteúdo gerado por IA. A nossa abordagem e modelo líderes do setor aparecem consistentemente nos estudos mais recentes na área da deteção de IA. Por isso, hoje, gostaríamos de destacar alguns estudos recentes e as suas conclusões!

Estudo 1: Pessoas que utilizam frequentemente o ChatGPT para tarefas de escrita são detetores precisos e robustos de texto gerado por IA.

Visão geral do estudo

Neste artigo, investigadores da Universidade de Maryland estudam a deteção humana de textos gerados por IA. Eles contratam anotadores com diferentes níveis de familiaridade com LLMs para ler 300 artigos de não ficção e tentar classificá-los como escritos por humanos ou gerados por IA. Eles descobrem que pessoas que usam LLMs frequentemente para tarefas de escrita são excelentes na deteção de textos gerados por IA, mesmo sem treinamento.

O que isso diz sobre Pangram

O estudo compara a capacidade humana com a de «detetores automáticos» (também conhecidos como Pangram). Veja os resultados:

O modelo Humanizer da Pangram (mais detalhes abaixo) e a Pangram foram, de longe, os melhores detectores, identificando 100% de todos os textos gerados por IA. Ambos os nossos modelos também mantiveram uma alta robustez em relação à paráfrase e humanização, mantendo uma taxa de detecção de 90%.

Para mais informações:

Confira o estudo publicado aqui

Estudo 2: Desafio de deteção de texto gerado por máquina entre domínios

Visão geral do estudo

Neste estudo, investigadores da Universidade da Pensilvânia queriam comparar se os detetores poderiam generalizar para um conjunto fixo de modelos de IA, tipos de documentos e «ataques adversários» (tentativas de tornar o texto da IA mais difícil de detetar). Eles descobriram que «os detetores são capazes de detetar de forma robusta textos de muitos domínios e modelos simultaneamente». Se alguém lhe disser que os detetores de IA não funcionam, basta indicar este estudo!

O que isso diz sobre Pangram

Ali está o Pangram, no topo! Ficámos em primeiro lugar, empatados com um detetor de uma equipa de investigação da Leidos, que foi projetado e treinado especificamente para este estudo.

Para mais informações:

Encontre toda a nossa publicação no blog sobre este tema aqui e confira o estudo publicado aqui!

Estudo 3: ESPERANTO: Avaliação de frases sintetizadas para aumentar a robustez na detecção de IA para a origem do texto

Visão geral do estudo

Este estudo analisa um ataque chamado «back-translation», em que os malfeitores traduzem o texto para vários idiomas antes de o traduzir de volta para inglês, a fim de evitar a deteção por IA. Eles descobriram que podem manter o significado semântico do texto, reduzindo significativamente a detetabilidade do texto de IA (na maioria dos detetores 😄).

O que isso diz sobre Pangram

Como pode ver, o Pangram apresenta a melhor robustez em todas as categorias. Enquanto a retradução pode, por vezes, reduzir para metade ou quase um quarto a taxa de deteção dos concorrentes, o Pangram permanece robusto.

Para mais informações:

Confira a nossa publicação inicial no blog aqui e o estudo publicado aqui!

Bónus: Pesquisa própria da Pangram

Se estiver interessado em saber mais sobre as pesquisas que a Pangram realiza internamente para melhorar o nosso modelo, pode ler mais sobre esses estudos aqui:

DANOS: Detecção de texto gerado por IA modificado adversariamente

Relatório técnico sobre o classificador de texto gerado por IA Pangram

Compromisso com a investigação

Aqui na Pangram, estamos empenhados em promover a investigação nesta área e, como tal, oferecemos acesso gratuito e ilimitado a académicos interessados em estudar a deteção de IA com a Pangram. Quer saber mais? Entre em contacto connosco através do e-mail info@pangram.com