Avaliações de pangramas por terceiros

Acreditamos que é importante que as instituições possam confiar na alta precisão do Pangram, por isso incentivamos a verificação por terceiros das nossas métricas de qualidade (falsos positivos e falsos negativos). Abaixo, destacaremos as avaliações do Pangram feitas por pesquisadores da Universidade de Chicago (UChicago) e da Universidade de Maryland (UMD), bem como por críticos comerciais.

Conclusão principal: os testes internos da Pangram resistem ao escrutínio de terceiros.

Confiabilidade e precisão do Pangram (Universidade de Chicago)

Experiência

No Instituto Becker Friedman de Economia da Universidade de Chicago, os investigadores compararam quatro detetores de IA: Pangram, GPTZero, Originality AI e RoBERTa (um detetor de IA de código aberto). O estudo utilizou cada detetor para analisar 1.992 textos humanos escritos antes de 2020 e 1.992 textos gerados por IA em diferentes géneros e contagens de palavras. Eles analisaram dois tipos de erros na detecção de IA: taxas de falsos positivos e taxas de falsos negativos. Essas taxas foram comparadas para vários limites. Os detectores também classificaram textos gerados por IA a partir de LLMs populares, como ChatGPT, Claude e Gemini. Os investigadores criaram vários limites de política de FPR entre os detectores para observar as mudanças no FNR.

Resultados

Do estudo Artificial Writing and Automated Detection (Escrita artificial e deteção automatizada), de Brian Jabarian e Alex Imas, em agosto de 2025:

O Pangram domina os outros detetores em todos os limiares.

O Pangram é o único detetor que cumpre um limite rigoroso (FPR ≤ 0,005) sem comprometer a capacidade de detetar com precisão texto gerado por IA.

O Pangram continua a ser o líder em termos de baixo custo em todos os géneros e, em média: US$ 0,0228 por passagem corretamente sinalizada pela IA, contra US$ 0,0416 para o OriginalityAI e US$ 0,0575 para o GPTZero, tornando o Pangram o detector mais econômico tanto para passagens completas quanto para trechos.

O estudo mostrou que:

O Pangram alcança taxas de falsos positivos e falsos negativos praticamente nulas em passagens de comprimento médio a longo.

A alta precisão do Pangram foi aclamada em diferentes géneros de texto, tais como: blogs, críticas, currículos, notícias e romances. Em textos mais curtos, as taxas de falsos positivos e falsos negativos aumentam ligeiramente, «mas permanecem bem abaixo dos limites razoáveis da política».

Os investigadores da UChicago destacaram o desempenho superior do Pangram em comparação com outros detetores de IA disponíveis. Quando se estabelece um limite de FPR de 0,0001, «nem o GPTzero nem o Originality.AI têm um desempenho muito bom sob o limite mais rigoroso da política de FPR. . . O Pangram ainda atinge uma taxa de FNR de cerca de 0,01 na maioria dos modelos LLM».

O Pangram já não faz previsões para textos com menos de 50 palavras, mas, conforme observado no estudo,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Desempenho do Pangram contra Humanizers (Universidade de Maryland)

Experiência

Na Experiência 1 deste estudo da UMD, anotadores com vários níveis de conhecimento sobre LLMs foram usados para prever se um texto era ou não gerado por IA. Após observar que um anotador era quase perfeito na identificação de textos gerados por IA, quatro anotadores especialistas adicionais com experiências semelhantes no uso de LLMs foram utilizados para classificar a mesma amostra de 60 textos. Os resultados das votações dos especialistas foram comparados com detectores comerciais como Pangram, Pangram Humanizer e GPTZero, bem como ferramentas de código aberto como Fast-DetectGPT. Durante esse processo, o Pangram se destacou em comparação com outros detectores.

Desempenho consistente do Pangram contra textos parafraseados e humanizados

Resultados

O Pangram consegue detetar com precisão textos humanizados gerados por IA. Isso é corroborado por cientistas da computação da UMD, que observaram que o Pangram obteve a pontuação mais alta na deteção de humanizadores e textos parafraseados, superando outros softwares de deteção de IA com 99,3% de precisão.

Saiba mais sobre como o Pangram se compara aos humanizadores

Avaliações Pangram fora de instituições de investigação

Amanda Caswell, do Tom’s Guide, afirmou num artigo que, depois de experimentar dezenas de ferramentas de detecção de IA, o Pangram «superou todas as outras que experimentei». O Pangram também demonstrou estar a trabalhar diligentemente para reduzir os já baixos índices de falsos positivos.

David Gewirtz, da ZDNET, descreve o Pangram como «um recém-chegado aos nossos testes que imediatamente alcançou o círculo dos vencedores».

Como o uso da IA em artigos científicos aumentou, existe a preocupação de que isso seja um indicador de má conduta. O artigo de Adam Day na Medium utilizou a deteção de IA da Pangram para obter resultados fiáveis sobre a prevalência de conteúdo de IA, concluindo também que existem casos de uso legítimos para a IA generativa na investigação. Day recomenda o uso da Pangram para realizar investigações, afirmando: «Se alguém quiser fazer um levantamento do uso da IA generativa na literatura publicada, acho que há uma ótima oportunidade para fazer isso com as ferramentas da Pangram.»

Utilização dos resultados do Pangram em pesquisas conceituadas (Universidade de Maryland)

Pesquisadores da UMD (em colaboração com a Microsoft e a Pangram) utilizaram os resultados da deteção de IA da Pangram num estudo recente para analisar a presença de texto gerado por IA nas notícias, utilizando uma amostra de 186.000 artigos de jornais. Embora tenha sido encontrada uma baixa percentagem de notícias geradas por IA, o uso de IA não foi divulgado. A Pangram foi utilizada para identificar «219 artigos contendo conteúdo de IA nas páginas de opinião do The New York Times, The Wall Street Journal e The Washington Post».

O estudo conseguiu apontar nuances no uso da IA, tais como:

Os repórteres que escrevem os seus próprios artigos podem não estar cientes de que as pessoas que citam nos seus artigos utilizaram IA para criar as suas respostas.

IA nas notícias usando a deteção de pangramas

Conclusão

Na Pangram, acreditamos que a transparência é essencial para a confiança. Adoraríamos fazer parceria com você para levar a transparência da IA à sua organização.