Índice
- Estudo 1: As pessoas que utilizam frequentemente o ChatGPT para tarefas de escrita são capazes de identificar com precisão e segurança textos gerados por IA
- Visão geral do estudo
- O que isso diz sobre o pangram
- Para mais informações:
- Estudo 2: Desafio de deteção de texto gerado por máquinas em vários domínios
- Visão geral do estudo
- O que isso diz sobre o pangram
- Para mais informações:
- Estudo 3: ESPERANTO: Avaliação de frases sintetizadas para melhorar a robustez na deteção por IA da origem do texto
- Visão geral do estudo
- O que isso diz sobre o pangram
- Para mais informações:
- Bónus: A investigação da própria Pangram
- DAMAGE: Detecção de texto gerado por IA e modificado de forma adversária
- Relatório técnico sobre o classificador de texto gerado por IA do Pangram
- Empenho na investigação
A Pangram continua a afirmar-se como uma referência na deteção de conteúdos gerados por IA. A nossa abordagem e o nosso modelo, líderes no setor, aparecem regularmente nos estudos mais recentes na área da deteção de IA; por isso, hoje, gostaríamos de destacar alguns estudos recentes e as suas conclusões!
Estudo 1: As pessoas que utilizam frequentemente o ChatGPT para tarefas de escrita são capazes de identificar com precisão e segurança textos gerados por IA
Visão geral do estudo
Neste artigo, investigadores da Universidade de Maryland estudam a capacidade humana de detetar textos gerados por IA. Recrutaram anotadores com diferentes níveis de familiaridade com os modelos de linguagem de grande escala (LLMs) para lerem 300 artigos de não ficção e tentarem classificá-los como escritos por humanos ou gerados por IA. Concluíram que as pessoas que utilizam frequentemente os LLMs para tarefas de escrita se destacam na detecção de textos gerados por IA, mesmo sem formação específica.
O que isso diz sobre o pangram
O estudo compara a capacidade humana com a de «detetores automáticos» (também conhecidos como Pangram). Veja os resultados:
O modelo Humanizer da Pangram (mais informações abaixo) e a própria Pangram foram, de longe, os melhores detectores, identificando 100% de todo o texto gerado por IA. Ambos os nossos modelos mantiveram também uma elevada robustez face à parafraseação e à humanização, mantendo uma taxa de deteção de 90%.
Para mais informações:
Consulte o estudo publicado aqui
Estudo 2: Desafio de deteção de texto gerado por máquinas em vários domínios
Visão geral do estudo
Neste estudo, investigadores da Universidade da Pensilvânia procuraram avaliar se os detetores seriam capazes de se adaptar a um conjunto fixo de modelos de IA, tipos de documentos e «ataques adversariais» (tentativas de tornar o texto gerado por IA mais difícil de detetar). Concluíram que «os detetores são capazes de detetar de forma robusta texto proveniente de vários domínios e modelos em simultâneo». Se alguém lhe disser que os detetores de IA não funcionam, basta mostrar-lhe este estudo!
O que isso diz sobre o pangram
Ali está o Pangram, no topo! Ficámos em primeiro lugar, empatados com um detetor de uma equipa de investigação da Leidos que foi concebido e treinado especificamente para este estudo.
Para mais informações:
Leia aqui o nosso artigo completo sobre este tema e consulte aqui o estudo publicado !
Estudo 3: ESPERANTO: Avaliação de frases sintetizadas para melhorar a robustez na deteção por IA da origem do texto
Visão geral do estudo
Este estudo analisa um ataque denominado «back-translation», no qual os autores mal-intencionados traduzem o texto para várias línguas antes de o traduzirem de volta para inglês, com o objetivo de escapar à deteção por IA. Concluíram que é possível manter o significado semântico do texto, reduzindo significativamente a detetabilidade do texto gerado por IA (na maioria dos detetores 😄).
O que isso diz sobre o pangram
Como se pode ver, o Pangram apresenta a melhor robustez em todas as categorias. Embora a retrotradução possa, por vezes, reduzir para metade ou quase para um quarto a taxa de deteção dos concorrentes, o Pangram mantém-se robusto.
Para mais informações:
Consulte aqui a nossa publicação inicial no blogue e aqui o estudo publicado !
Bónus: A investigação da própria Pangram
Se estiver interessado em saber mais sobre a investigação que a Pangram realiza internamente para melhorar o nosso modelo, pode ler mais sobre esses estudos aqui:
DAMAGE: Detecção de texto gerado por IA e modificado de forma adversária
Relatório técnico sobre o classificador de texto gerado por IA do Pangram
Empenho na investigação
Na Pangram, estamos empenhados em promover a investigação nesta área e, por isso, oferecemos acesso gratuito e ilimitado a académicos interessados em estudar a deteção de IA com a Pangram. Quer saber mais? Contacte-nos através do endere ço info@pangram.com
Elyas Masrour é engenheiro fundador da Pangram. Desde que ingressou na Pangram como segundo colaborador, logo após terminar o curso na Universidade de Maryland, desenvolveu infraestruturas essenciais, tais como a API de disponibilização de modelos, controlos de acesso baseados em funções e pipelines de evidências de apoio. Elyas também trabalha em estreita colaboração com a equipa de investigação em projetos como a robustez adversária, a interpretabilidade de modelos e a deteção de conteúdo misto heterogéneo. Fora do trabalho, Elyas aprecia uma vasta gama de formas de criatividade e expressão humanas, incluindo cinema, leitura e explorar a cidade.
Leitura relacionada
O Pangram detecta o Gemini 3?
Os profissionais de marketing estão a desperdiçar o orçamento publicitário em conteúdos gerados por IA
Apresentamos o Open Pangram
Como os estudantes tentam evitar a deteção por IA
Compreender a nova lei da UE sobre IA
Pangram Space: um projeto de investigação interativo
para receber as nossas atualizações
