Avaliações de pangramas realizadas por terceiros

Acreditamos que é importante que as instituições possam confiar na elevada precisão do Pangram; por isso, incentivamos a verificação independente das nossas métricas de qualidade (falsos positivos e falsos negativos). A seguir, destacamos as avaliações do Pangram realizadas por investigadores da Universidade de Chicago (UChicago) e da Universidade de Maryland (UMD), bem como por avaliadores do setor privado.

Conclusão principal: Os testes internos da Pangram resistem ao escrutínio de entidades externas.

O Pangram atinge uma taxa de deteção de 97,5% em textos gerados inteiramente por IA e zero falsos positivos em ensaios de alunos cuja língua materna não é o inglês

Num artigo sujeito a revisão por pares publicado em junho de 2026, um grupo de investigadores da Vrije Universiteit Brussel testou quatro ferramentas de deteção de IA — Pangram, GPTZero, Turnitin e Copyleaks — em 160 trabalhos académicos com mais de 4 000 palavras cada. O conjunto de dados foi redigido em inglês e dividido de forma equilibrada entre textos escritos por estudantes de inglês como segunda língua (ESL), textos gerados por IA, textos híbridos (mistura de texto humano e de IA) e textos de IA humanizados.

Os investigadores descobriram que o Pangram era a única ferramenta capaz de detetar de forma fiável conteúdos gerados por IA: «das quatro ferramentas de deteção de IA analisadas neste estudo, neste momento apenas o [Pangram] produziu resultados satisfatórios.»

O Pangram foi a única ferramenta capaz de detetar de forma fiável tanto trabalhos escritos inteiramente por IA como trabalhos humanizados (97,5% e 95%). No conjunto de trabalhos gerados inteiramente por IA, as outras três ferramentas não detetaram praticamente nenhum, tendo todas obtido uma pontuação de 0%. Nenhum outro detetor, para além do Pangram, conseguiu lidar de forma fiável com texto humanizado, embora o Turnitin tenha detetado cerca de metade e o Copyleaks um quarto.

Estudos anteriores revelaram que outros detetores produziam falsos positivos no caso de autores cuja língua materna não é o inglês (ESL), mas este estudo independente indica que o Pangram não apresenta um viés substancial contra textos de autores cuja língua materna não é o inglês.

Fiabilidade e precisão do pangrama (Universidade de Chicago)

Experiência

No Instituto Becker Friedman de Economia da Universidade de Chicago, os investigadores compararam quatro detectores de IA: Pangram, GPTZero, Originality AI e RoBERTa (um detector de IA de código aberto). O estudo utilizou cada um desses detectores para analisar 1 992 textos escritos por humanos antes de 2020 e 1 992 textos gerados por IA, abrangendo diferentes géneros e contagens de palavras. Analisaram dois tipos de erros na deteção de IA: Taxas de Falsos Positivos e Taxas de Falsos Negativos. Estas taxas foram comparadas para vários limiares. Os detetores também classificaram textos gerados por IA a partir de LLMs populares como o ChatGPT, o Claude e o Gemini. Os investigadores criaram vários limites máximos de política de FPR entre os detetores para registar as alterações na FNR.

Resultados

Do estudo «Escrita Artificial e Detecção Automatizada », de Brian Jabarian e Alex Imas, de agosto de 2025:

O Pangram supera os outros detetores em todos os limiares.

O Pangram é o único detetor que cumpre um limite rigoroso (FPR ≤ 0,005) sem comprometer a capacidade de detetar com precisão textos gerados por IA.

A Pangram continua a ser líder em termos de baixo custo em todos os géneros e, em média: 0,0228 dólares por passagem de IA identificada corretamente, contra 0,0416 dólares da OriginalityAI e 0,0575 dólares da GPTZero, o que torna a Pangram o detetor mais económico tanto para passagens completas como para esboços.

O estudo revelou que:

O Pangram atinge taxas de falsos positivos e falsos negativos praticamente nulas em passagens de comprimento médio a longo.

A elevada precisão do Pangram foi elogiada em diversos tipos de texto, tais como: blogs, críticas, currículos, notícias e romances. Em textos mais curtos, as taxas de falsos positivos e falsos negativos aumentam ligeiramente, «mas permanecem bem abaixo dos limites razoáveis estabelecidos».

Taxa média de falsos positivos (identificação de texto humano como sendo de IA) e taxa média de falsos negativos (texto de IA não detetado) para cada detetor, nos seis géneros e nos quatro LLMs. Quanto mais baixo, melhor, em ambos os casos.

O Pangram já não faz previsões para textos com menos de 50 palavras, mas, tal como referido no estudo,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Desempenho do Pangram contra os Humanizers (Universidade de Maryland)

Experiência

Na Experiência 1 deste estudo da UMD, foram utilizados anotadores com vários níveis de conhecimento sobre LLMs para prever se um texto tinha ou não sido gerado por IA. Após se ter observado que um anotador era quase perfeito na identificação de texto gerado por IA, foram utilizados mais quatro anotadores especialistas com experiências semelhantes na utilização de LLMs para classificar a mesma amostra de 60 textos. Os resultados dos votos dos especialistas foram comparados com detetores comerciais como o Pangram, o Pangram Humanizer e o GPTZero, bem como com ferramentas de código aberto como o Fast-DetectGPT. Durante este processo, o Pangram foi comparado com outros detetores.

Percentagem de artigos sobre IA detetados (TPR) e taxa de falsos positivos em todas as condições, incluindo a condição mais difícil — texto humanizado do o1-pro. Apenas o Pangram conseguiu acompanhar o ritmo dos especialistas humanos.

Resultados

O Pangram consegue detetar com precisão textos gerados por IA que foram humanizados. Esta conclusão é corroborada por cientistas informáticos da UMD, que observaram que o Pangram obteve a pontuação global mais elevada na deteção de textos humanizados e parafraseados, superando outros programas de deteção de IA com uma precisão de 99,3%.

Saiba mais sobre como o Pangram se compara aos humanizadores

Avaliações de pangramas fora das instituições de investigação

Amanda Caswell, do Tom’s Guide, afirmou num artigo que, depois de experimentar dezenas de ferramentas de deteção de IA, o Pangram «superou as outras que experimentei». O Pangram também demonstrou estar a trabalhar diligentemente para reduzir os já baixos índices de falsos positivos.

David Gewirtz, da ZDNET, descreve o Pangram como «um recém-chegado aos nossos testes que rapidamente se destacou entre os vencedores».

Dado que o uso da IA em artigos de investigação tem vindo a aumentar, existe a preocupação de que isso seja um indicador de má conduta. O artigo de Adam Day no Medium utilizou a deteção de IA da Pangram para obter resultados fiáveis sobre a prevalência de conteúdo gerado por IA, concluindo simultaneamente que existem casos de utilização legítimos para a IA generativa na investigação. Day recomenda a utilização da Pangram para realizar investigação, afirmando: «se alguém quiser fazer um inquérito sobre a utilização da IA generativa na literatura publicada, penso que existe uma excelente oportunidade para o fazer com as ferramentas da Pangram.»

Conclusão

Na Pangram, acreditamos que a transparência é essencial para a confiança. Adoraríamos colaborar consigo para levar a transparência da IA à sua organização.