Como se compara o Pangram com o GPTZero?

O mercado de detecção de IA conta atualmente com vários grandes intervenientes. Talvez já tenha ouvido falar deles: Pangram, GPTZero, Turnitin, ZeroGPT e outros. Para uma visão geral abrangente sobre como estas ferramentas se comparam, consulte o nosso guia sobre os melhores detectores de IA atualmente disponíveis.

Muitas destas empresas atualizam regularmente os seus modelos e publicam dados sobre o seu desempenho. Recentemente, a GPTZero lançou uma atualização de modelos de verão e divulgou novos dados sobre o seu desempenho numa variedade de novos modelos. Nesta publicação do blogue, iremos comparar o desempenho do novo modelo da GPTZero com a detecção de IA da Pangram, incluindo os mais recentes modelos GPT-5.

Pangram vs. GPTZero: Números publicados

Nota: O GPTZero não divulga ao público os seus conjuntos de dados de avaliação internos, pelo que estes números não provêm exatamente dos mesmos documentos. Além disso, o GPTZero não divulga o número de documentos com que realiza os testes, pelo que também não podemos comparar a quantidade. No entanto, no que diz respeito aos resultados de desempenho do Pangram, realizámos a avaliação com base em milhares de documentos por modelo, bem como numa ampla variedade de domínios e esquemas de prompts, para simular a utilização no mundo real.

Além disso, a precisão do Pangram não se limita a identificar a maioria dos documentos gerados por IA. O Pangram é também líder de mercado no que diz respeito a manter baixas taxas de falsos positivos. É uma prioridade fundamental para nós não identificar documentos escritos por humanos como tendo sido gerados por IA. Abaixo, apresentamos a comparação entre as taxas de falsos positivos relatadas pelo Pangram e pelo GPTZero:

Artigo do blogue sobre a taxa de falsos positivos do GPTZero

Aqui vemos o desempenho do GPTZero, com uma taxa de falsos positivos (FPR) de 1%.

O que revelam os estudos? Pangram vs. GPTZero

O Pangram e o GPTZero também se depararam em artigos de investigação sobre IA submetidos a revisão por pares. Isto fica bem ilustrado no recente estudo da Universidade de Maryland intitulado «As pessoas que utilizam frequentemente o ChatGPT para tarefas de escrita são detetores precisos e fiáveis de texto gerado por IA». Este estudo investigou a capacidade de anotadores humanos especializados para distinguir entre texto humano e texto gerado por IA.

No âmbito do estudo, os avaliadores humanos foram comparados com detetores disponíveis no mercado e de código aberto. O Pangram apresentou um desempenho superior ao de cada detetor humano individual, bem como superior ao de todas as alternativas comerciais, incluindo o GPTZero.

Desempenho multilingue

As diferenças entre o modelo principal do Pangram e o GPTZero não se ficam por aí. Ambos os modelos são «multilíngues», o que significa que são capazes de detetar IA em várias línguas, para além do inglês. O Pangram é multilíngue nas 20 línguas mais utilizadas na Internet. O GPTZero suporta inglês, francês e espanhol. Aqui estão as línguas em que cada modelo foi testado:

Para mais informações sobre o desempenho do Pangram com texto multilingue, consulte esta publicação no blogue

Desempenho do ESL

Além disso, ambos os modelos são treinados com especial atenção ao desempenho em textos de ESL (Inglês como Segunda Língua), uma vez que existe um receio generalizado de que os detectores de IA possam ser tendenciosos em relação a falantes não nativos de inglês. Tanto o GPTZero como o Pangram publicaram resultados relativos especificamente a textos de ESL. Veja abaixo como se comparam:

Para saber mais sobre a abordagem da Pangram em relação aos textos de inglês como segunda língua (ESL), consulte esta publicação no blogue: https://www.pangram.com/blog/how-accurate-is-pangram-ai-detection-on-esl

Modelos ainda não lançados e o GPT-5

Outra preocupação para quem procura soluções de deteção de IA é o desempenho em modelos ainda não lançados. À medida que a corrida pela IA continua a expandir-se, tanto os grandes laboratórios de IA como as pequenas empresas emergentes lançam regularmente modelos importantes. É importante que uma solução de deteção de IA continue a fornecer resultados precisos em modelos nos quais talvez não tenha sido possível treiná-la diretamente.

O recente lançamento do GPT-5 proporcionou uma excelente oportunidade para descobrir isso! Poucas horas após o lançamento do novo modelo, a equipa do Pangram testou o desempenho do GPTZero e do Pangram com vários tipos de prompts. Eis os resultados:

Nota: O GPTZero lançou entretanto uma atualização do modelo que afirma ter um melhor desempenho no GPT-5! Para mais detalhes sobre a nossa comparação original, consulte esta publicação no blogue. Além disso, incentivamos os utilizadores a realizarem os seus próprios testes para comparar o desempenho em qualquer momento.

Conclusão

Em suma, a Pangram continua a ser a escolha mais sólida e fiável para a deteção de conteúdos gerados por IA. Quer as suas necessidades sejam na área da educação, da edição, da moderação de conteúdos ou de algo ainda mais específico, estamos aqui para lhe oferecer uma deteção de IA precisa e imparcial. Saiba mais no nosso blogue ou contacte-nos através do endereço info@pangram.com.