Avaliações de pangramas realizadas por terceiros

Acreditamos que é importante que as instituições possam confiar na elevada precisão do Pangram; por isso, incentivamos a verificação independente das nossas métricas de qualidade (falsos positivos e falsos negativos). A seguir, destacamos as avaliações do Pangram realizadas por investigadores da Universidade de Chicago (UChicago) e da Universidade de Maryland (UMD), bem como por avaliadores do setor privado.

Conclusão principal: Os testes internos da Pangram resistem ao escrutínio de entidades externas.

Fiabilidade e precisão do pangrama (Universidade de Chicago)

Experiência

No Instituto Becker Friedman de Economia da Universidade de Chicago, os investigadores compararam quatro detectores de IA: Pangram, GPTZero, Originality AI e RoBERTa (um detector de IA de código aberto). O estudo utilizou cada um desses detectores para analisar 1 992 textos escritos por humanos antes de 2020 e 1 992 textos gerados por IA, abrangendo diferentes géneros e contagens de palavras. Analisaram dois tipos de erros na deteção de IA: Taxas de Falsos Positivos e Taxas de Falsos Negativos. Estas taxas foram comparadas para vários limiares. Os detetores também classificaram textos gerados por IA a partir de LLMs populares como o ChatGPT, o Claude e o Gemini. Os investigadores criaram vários limites máximos de política de FPR entre os detetores para registar as alterações na FNR.

Resultados

Do estudo «Escrita Artificial e Detecção Automatizada », de Brian Jabarian e Alex Imas, de agosto de 2025:

O Pangram supera os outros detetores em todos os limiares.

O Pangram é o único detetor que cumpre um limite rigoroso (FPR ≤ 0,005) sem comprometer a capacidade de detetar com precisão textos gerados por IA.

A Pangram continua a ser líder em termos de baixo custo em todos os géneros e, em média: 0,0228 dólares por passagem de IA identificada corretamente, contra 0,0416 dólares da OriginalityAI e 0,0575 dólares da GPTZero, o que torna a Pangram o detetor mais económico tanto para passagens completas como para esboços.

O estudo revelou que:

O Pangram atinge taxas de falsos positivos e falsos negativos praticamente nulas em passagens de comprimento médio a longo.

A elevada precisão do Pangram foi elogiada em diversos tipos de texto, tais como: blogs, críticas, currículos, notícias e romances. Em textos mais curtos, as taxas de falsos positivos e falsos negativos aumentam ligeiramente, «mas permanecem bem abaixo dos limites razoáveis estabelecidos».

Os investigadores da Universidade de Chicago destacaram o desempenho superior do Pangram em comparação com outros detetores de IA disponíveis. Quando submetido a um limite de FPR de 0,0001, «nem o GPTzero nem o Originality.AI apresentam um desempenho muito bom sob o limite mais rigoroso da política de FPR... O Pangram continua a atingir uma taxa de FNR de cerca de 0,01 na maioria dos modelos LLM.»

O Pangram já não faz previsões para textos com menos de 50 palavras, mas, tal como referido no estudo,

Pangram’s performance largely holds up on very short passages (< 50 words) and is robust to “humanizer” tools (e.g., StealthGPT), the performance of other detectors becomes case-dependent.

Desempenho do Pangram contra os Humanizers (Universidade de Maryland)

Experiência

Na Experiência 1 deste estudo da UMD, foram utilizados anotadores com vários níveis de conhecimento sobre LLMs para prever se um texto tinha ou não sido gerado por IA. Após se ter observado que um anotador era quase perfeito na identificação de texto gerado por IA, foram utilizados mais quatro anotadores especialistas com experiências semelhantes na utilização de LLMs para classificar a mesma amostra de 60 textos. Os resultados dos votos dos especialistas foram comparados com detetores comerciais como o Pangram, o Pangram Humanizer e o GPTZero, bem como com ferramentas de código aberto como o Fast-DetectGPT. Durante este processo, o Pangram foi comparado com outros detetores.

O desempenho consistente do Pangram's em comparação com textos parafraseados e humanizados

Resultados

O Pangram consegue detetar com precisão textos gerados por IA que foram humanizados. Esta conclusão é corroborada por cientistas informáticos da UMD, que observaram que o Pangram obteve a pontuação global mais elevada na deteção de textos humanizados e parafraseados, superando outros programas de deteção de IA com uma precisão de 99,3%.

Saiba mais sobre como o Pangram se compara aos humanizadores

Avaliações de pangramas fora das instituições de investigação

Amanda Caswell, do Tom’s Guide, afirmou num artigo que, depois de experimentar dezenas de ferramentas de deteção de IA, o Pangram «superou as outras que experimentei». O Pangram também demonstrou estar a trabalhar diligentemente para reduzir os já baixos índices de falsos positivos.

David Gewirtz, da ZDNET, descreve o Pangram como «um recém-chegado aos nossos testes que rapidamente se destacou entre os vencedores».

Dado que o uso da IA em artigos de investigação tem vindo a aumentar, existe a preocupação de que isso seja um indicador de má conduta. O artigo de Adam Day no Medium utilizou a deteção de IA da Pangram para obter resultados fiáveis sobre a prevalência de conteúdo gerado por IA, concluindo simultaneamente que existem casos de utilização legítimos para a IA generativa na investigação. Day recomenda a utilização da Pangram para realizar investigação, afirmando: «se alguém quiser fazer um inquérito sobre a utilização da IA generativa na literatura publicada, penso que existe uma excelente oportunidade para o fazer com as ferramentas da Pangram.»

Utilização dos resultados do Pangram em investigação de renome (Universidade de Maryland)

Investigadores da UMD (em colaboração com a Microsoft e a Pangram) utilizaram os resultados da deteção de IA da Pangram num estudo recente para analisar a presença de texto gerado por IA nas notícias, recorrendo a uma amostra de 186 000 artigos de jornais. Embora se tenha verificado que uma percentagem reduzida das notícias era gerada por IA, a utilização da IA não foi divulgada. A Pangram foi utilizada para identificar «219 artigos contendo conteúdo de IA nas páginas de opinião do The New York Times, do The Wall Street Journal e do The Washington Post».

O estudo conseguiu identificar algumas nuances na utilização da IA, tais como:

Os jornalistas que escrevem os seus próprios artigos podem não ter consciência de que as pessoas que citam nos seus artigos utilizaram IA para elaborar as suas respostas.

A IA nas notícias através da deteção de pangramas

Conclusão

Na Pangram, acreditamos que a transparência é essencial para a confiança. Adoraríamos colaborar consigo para levar a transparência da IA à sua organização.