Qual é o desempenho do Pangram em humanizadores? (Atualizado em agosto de 2025)

Qual é o desempenho do Pangram em humanizadores? (Atualizado em agosto de 2025)

A deteção de IA é frequentemente descrita como uma «corrida ao armamento» entre grandes modelos linguísticos, detetores e «humanizadores», que são uma categoria de ferramentas online destinadas a ofuscar textos gerados por IA e a introduzir erros intencionais, para que o texto resultante pareça ter sido escrito por um ser humano.

Na Pangram, procuramos sempre estar na vanguarda e acompanhar os mais recentes avanços tecnológicos, tanto em novos modelos como em humanizadores. Isto permite-nos criar sistemas de deteção por IA que se mantêm fiáveis.

Em janeiro de 2025, publicámos uma atualização do nosso relatório técnico, no qual analisámos 19 ferramentas diferentes de humanização e parafraseamento. As principais conclusões foram:

• O Pangram é resistente a programas de humanização e parafraseamento
• Alguns revisores introduzem manualmente erros de espaçamento e pontuação e procedem à substituição ponto a ponto de sinónimos.
• Outros humanizadores são, eles próprios, modelos de linguagem de grande escala (LLMs) aperfeiçoados, treinados para parafrasear o texto num estilo humano.
• Quanto mais legível e fluido for o texto humanizado, maior será a probabilidade de ser detetado pelo Pangram.
• Por outras palavras, os humanizadores «bons» em termos de fluência são mais fáceis de detectar, enquanto os «maus» são menos suscetíveis de serem detetados.

No entanto, o panorama dos humanizadores está a evoluir rapidamente, pelo que quisemos publicar dados atualizados sobre o nosso mais recente teste de desempenho de humanizadores.

Resultados atualizados do Humanizer de Pangram

O Pangram atinge um desempenho superior a 90% em todos os humanizadores de renome que testámos.

Como se compara o Pangram a outros detectores de IA no que diz respeito a textos gerados por IA com um toque humano?

No estudo de Russell et al., o Pangram é comparado com o GPTZero e vários métodos de código aberto em texto humanizado. O melhor modelo do Pangram apresenta uma precisão de 97% em texto humanizado, em comparação com os 46% do GPTZero, os 23% do FastDetectGPT e os 7% do Binoculars.

Desempenho do Pangram em texto humanizado, em comparação com outros detectores

Um estudo muito recente realizado por Jabarian e Imas revelou que o Pangram é o único detetor, entre quatro detetores comerciais, cujo desempenho se mantém robusto perante os humanizadores:

No caso de passagens mais longas, o Pangram deteta quase 100% do texto gerado por IA. A FNR aumenta ligeiramente à medida que as passagens se tornam mais curtas, mas continua a ser baixa. Os outros detetores são menos resistentes aos humanizadores. O FNR do Originality.AI aumenta para cerca de 0,05 em textos mais longos, mas pode atingir até 0,21 em textos mais curtos, dependendo do género e do modelo LLM. O GPTZero perde em grande parte a sua capacidade de detetar texto gerado por IA, com pontuações de FNR em torno de 0,50 ou mais na maioria dos géneros e modelos LLM. O RoBERTa tem um desempenho igualmente fraco, com pontuações de FNR elevadas em todos os casos.

Como se pode saber se um texto foi humanizado?

Existem várias formas de perceber, à primeira vista, que um texto passou por um humanizador.

Frases forçadas

Uma das formas mais fáceis de identificar um «humanizador» é procurar «frases forçadas», que são substituições de sinónimos desajustadas destinadas a disfarçar o plágio. Ferramentas de reescrita, como o Grammarly e o Quillbot, já utilizavam estes algoritmos de substituição de sinónimos, mesmo antes da IA, para disfarçar o plágio.

Exemplos de expressões mal construídas seriam «consciência falsificada» em vez de «inteligência artificial», ou «perigo no seio» em vez de «cancro da mama». No ano passado, ouvimos falar de um caso engraçado em que «Martin Luther Ruler, Jr.» apareceu num trabalho de um aluno, em vez de «Martin Luther King, Jr.».

É importante ter cuidado ao utilizar frases forçadas como único critério para identificar textos gerados por IA humanizada, uma vez que essas frases também aparecem frequentemente em textos escritos por falantes não nativos de inglês, quando estes utilizam indevidamente ou interpretam mal o significado direto ou a forma típica como certas palavras são empregadas.

Erros de espaçamento anormais

Os utilizadores de programas de humanização tentam frequentemente enganar o tokenizador dos detectores de IA, adicionando ou removendo espaços. É especialmente comum a remoção de espaços entre frases.

Frases repetitivas

O texto gerado por IA humanizada continua a apresentar as mesmas frases repetitivas que o texto gerado por IA não humanizada. É especialmente revelador que o texto tenha sido produzido por um humanizador se a mesma frase forçada aparecer duas vezes no mesmo documento, pois isso constitui uma prova de que o humanizador está a aplicar sistematicamente as mesmas substituições por sinónimos.

Caracteres não padrão

Os humanizadores também costumam utilizar caracteres Unicode não padrão para enganar os tokenizadores dos detetores de IA. Um exemplo disso é um humanizador popular que utiliza «U+2009», que é o caractere Unicode para «espaço fino», em vez de um espaço normal. Recomendamos este site https://www.soscisurvey.de/tools/view-chars.php, que permite ver todos os caracteres não imprimíveis que possam estar ocultos em cadeias de texto copiadas e coladas.

Exemplo de caracteres não imprimíveis em texto humanizado

Ferramentas para o processo de escrita

Ao utilizar a nova funcionalidade «Reprodução de escrita» do Pangram no Google Docs, também pode verificar se uma parte significativa do texto num documento do Google Docs foi copiada e colada, em vez de ter sido digitada manualmente. Pode encontrar aqui uma explicação mais detalhada sobre a deteção por IA no Google Docs.

Exemplo de reprodução de texto que demonstra como copiar e colar

Por que é que o Pangram não é 100% preciso em textos de IA com estilo humano?

Existem várias razões pelas quais o Pangram não é um detetor perfeito para texto gerado por IA humanizada.

1. A Pangram não está disposta a comprometer a sua taxa de falsos positivos. Vários dos nossos modelos internos são capazes de detetar humanizadores com uma precisão quase perfeita, mas apresentam taxas de falsos positivos mais elevadas. Não lançamos esses modelos porque, para nós, é mais importante que a escrita humana genuína nunca seja sinalizada como IA do que detetar todas as saídas dos humanizadores.

2. O texto «sem sentido» de qualidade extremamente baixa é facilmente detetável a olho nu. Na maioria dos casos em que o Pangram não identifica resultados humanizados, o texto está tão distorcido e ofuscado que mal se assemelha ao inglês. Estes casos são fáceis de identificar a olho nu, mas difíceis de detetar algoritmicamente, uma vez que existem infinitas formas de produzir texto sem sentido. Preferimos excluir o texto sem sentido do que tentar detetá-lo, uma vez que nem sequer faz sentido tentar distinguir o texto sem sentido produzido por humanos do texto sem sentido produzido pelo humanizador.

Posso esperar que o Pangram melhore o desempenho do seu humanizador com o tempo?

Sim, a deteção de humanizadores é uma área de investigação ativa na Pangram e esperamos continuar a caracterizar as propriedades destes humanizadores e a divulgar a nossa investigação sobre a deteção de resultados gerados por humanizadores. Para que a Pangram seja considerada uma ferramenta fiável em matéria de integridade académica, temos de ser capazes de detetar textos produzidos por estas ferramentas de fraude, bem como textos copiados e colados diretamente a partir de grandes modelos de linguagem.

Experimente o detetor de IA da Pangram para comparar os seus próprios documentos com os resultados do Humanizer.