Como o Pangram se compara ao GPTZero?

O mercado de deteção de IA hoje é composto por vários grandes players. Talvez já tenha ouvido falar deles: Pangram, GPTZero, Turnitin, ZeroGPT e outros.

Muitas dessas empresas atualizam regularmente os seus modelos e publicam números sobre o seu desempenho. Recentemente, a GPTZero lançou uma atualização do modelo de verão e divulgou novos números sobre o seu desempenho em vários modelos novos. Nesta publicação do blogue, iremos comparar o desempenho do novo modelo da GPTZero com a deteção de IA da Pangram, incluindo os modelos GPT-5 mais recentes.

Pangram vs. GPTZero: Números publicados

Modelo	Taxa de deteção de pangramas	Taxa de deteção do GPTZero	Detector melhor
GPT-5	99.81%	95.0%	Pangrama
GPT-5-chat-mais recente	99.97%	Não testado	N/A
GPT-5-mini	99.92%	92.2%	Pangrama
GPT-5-nano	99.97%	96.1%	Pangrama
GPT-OSS-120b	100.00%	Não testado	N/A
GPT-OSS-20b	99.74%	Não testado	N/A
GPT4.1	99.48%	96.8%	Pangrama
GPT4.1-mini	99.94%	98.7%	Pangrama
o3	99.86%	89.9%	Pangrama
o3-mini	100.00%	98.4%	Pangrama
Gemini 2.5 Pro	99.91%	95.7%	Pangrama
Gemini 2.5 Flash	99.75%	98.2%	Pangrama
Claude Soneto 4	99.91%	99.1%	Pangrama

Nota: O GPTZero não divulga publicamente os seus conjuntos de dados de avaliação interna, pelo que estes números não provêm exatamente dos mesmos documentos. Além disso, o GPTZero não divulga o número de documentos que testa, pelo que também não podemos comparar a quantidade. No entanto, para os números de desempenho do Pangram, avaliámos milhares de documentos por modelo, bem como uma grande variedade de domínios e esquemas de prompt para simular a utilização no mundo real.

Além disso, a precisão do Pangram não se limita a sinalizar a maioria dos documentos gerados por IA. O Pangram também é líder de mercado em manter baixas taxas de falsos positivos. É uma prioridade séria para nós não sinalizar documentos escritos por humanos como gerados por IA. Abaixo está descrita a diferença entre as taxas de falsos positivos relatadas para o Pangram e o GPTZero:

	Pangrama	GPTZero
Taxa de falsos positivos (%)	0.01%	1%
Taxa de falsos positivos (#)	~1 em cada 10.000 documentos	~1 em cada 100 documentos

Taxa de falsos positivos do GPTZero Publicação no blog

Aqui vemos o desempenho do GPTZero relatando uma Taxa de Falsos Positivos (FPR) de 1%.

O que a pesquisa mostra? Pangram vs. GPTZero

Pangram e GPTZero também se enfrentaram em artigos de investigação sobre IA revisados por pares. Isso é melhor representado no recente estudo da Universidade de Maryland intitulado “Pessoas que usam frequentemente o ChatGPT para tarefas de escrita são detetores precisos e robustos de texto gerado por IA”. Este estudo investigou a capacidade de anotadores humanos especializados classificarem a diferença entre texto gerado por humanos e por IA.

Como parte do estudo, os anotadores humanos foram comparados com detectores disponíveis comercialmente e de código aberto. O Pangram teve um desempenho melhor do que cada detector humano individualmente, bem como melhor do que todas as alternativas comerciais, incluindo o GPTZero.

	GPT-4o	Claude
Pangrama	100%	100%
GPTZero	100%	97.6%
Anotador 1	96.7%	100%
Anotador 2	96.7%	100%
Anotador 3	86.7%	80%
Anotador 4	90.0%	96.7%
Anotador 5	93.3%	93.3%

Desempenho multilingue

As diferenças entre o modelo principal da Pangram e o GPTZero não param por aí. Ambos os modelos são «multilíngues», o que significa que são capazes de detetar IA em vários idiomas, além do inglês. A Pangram é multilíngue em todos os 20 idiomas mais falados na Internet. O GPTZero suporta inglês, francês e espanhol. Aqui estão os idiomas em que cada modelo é testado:

Idioma	Taxa de falsos positivos (FPR) do Pangram	Taxa de falsos positivos (FPR) do GPTZero	Taxa de detecção da IA Pangram	Taxa de detecção da IA GPTZero
espanhol	0.00%	5.6%	100.0%	96.4%
Francês	0.00%	3.1%	100.0%	93.1%
Árabe	0.10%	Não testado	100.0%	Não testado
Checo	0.00%	Não testado	99.89%	Não testado
Alemão	0.00%	Não testado	99.68%	Não testado
grego	0.00%	Não testado	99.79%	Não testado
persa	0.00%	Não testado	100.0%	Não testado
Hindi	0.00%	Não testado	99.58%	Não testado
húngaro	0.10%	Não testado	99.05%	Não testado
italiano	0.00%	Não testado	100.0%	Não testado
japonês	0.00%	Não testado	100.0%	Não testado
holandês	0.10%	Não testado	100.0%	Não testado
Polaco	0.00%	Não testado	100.0%	Não testado
Português	0.00%	Não testado	100.0%	Não testado
romeno	0.10%	Não testado	100.0%	Não testado
russo	0.00%	Não testado	100.0%	Não testado
Sueco	0.00%	Não testado	99.89%	Não testado
turco	0.00%	Não testado	99.79%	Não testado
ucraniano	0.00%	Não testado	99.89%	Não testado
Urdu	0.00%	Não testado	98.84%	Não testado
vietnamita	0.00%	Não testado	99.89%	Não testado
chinês	0.00%	Não testado	99.89%	Não testado

Para mais informações sobre o desempenho do Pangram em textos multilingues, consulte esta publicação no blogue.

Desempenho em ESL

Além disso, ambos os modelos são treinados com muita atenção ao desempenho em ESL, pois existe um receio generalizado de que os detetores de IA possam ser tendenciosos em relação a falantes não nativos de inglês. Tanto o GPTZero quanto o Pangram publicaram resultados específicos sobre textos em ESL. Veja abaixo como eles se comparam:

	Taxa de falsos positivos	Tamanho da amostra
Pangrama	0.032%	25,021
GPTZero	1.1%	91

Para ler mais sobre a abordagem da Pangram ao texto ESL, consulte esta publicação no blogue https://www.pangram.com/blog/how-accurate-is-pangram-ai-detection-on-esl

Modelos não lançados e GPT-5

Outra preocupação para quem está no mercado de detecção de IA é o desempenho em modelos ainda não lançados. À medida que a guerra da IA continua a se expandir, grandes laboratórios de IA e pequenas empresas emergentes lançam modelos importantes regularmente. É importante que uma solução de detecção de IA continue a fornecer resultados precisos em modelos nos quais talvez não tenha sido possível treinar diretamente.

O recente lançamento do GPT-5 proporcionou uma excelente oportunidade para descobrir isso! Poucas horas após o lançamento do novo modelo, a equipa do Pangram testou o desempenho do GPTZero e do Pangram em vários tipos de prompts. Veja como eles se saíram:

	Pangrama	GPTZero
Documento 1	100%	2%
Documento 2	100%	0%
Documento 3	100%	0%
Documento 4	100%	0%
Documento 5	100%	9%
Documento 6	99%	0%
Documento 7	100%	0%
Documento 8	100%	0%
Documento 9	100%	29%
Documento 10	100%	0%
Documento 11	100%	10%

Nota: A GPTZero lançou uma atualização do modelo que afirma ter um desempenho melhor no GPT-5! Para mais detalhes sobre a nossa comparação original, consulte esta publicação no blogue. Além disso, incentivamos os utilizadores a realizar os seus próprios testes para comparar o desempenho em qualquer momento.

Conclusão

No final das contas, o Pangram continua a ser a escolha robusta e confiável para detectar conteúdo gerado por IA. Seja para educação, publicação, moderação de conteúdo ou algo ainda mais específico, estamos aqui para oferecer uma detecção de IA precisa e justa. Saiba mais no nosso blog ou entre em contacto pelo e-mail info@pangram.com.