Qual é o desempenho do Pangram em humanizadores? (Atualizado em agosto de 2025)

Qual é o desempenho do Pangram em humanizadores? (Atualizado em agosto de 2025)

A deteção de IA é frequentemente descrita como uma «corrida armamentista» entre grandes modelos de linguagem, detetores e «humanizadores», que são uma classe de ferramentas online destinadas a ofuscar textos gerados por IA e introduzir erros intencionais para que o texto resultante pareça humano.

Na Pangram, estamos sempre a tentar estar à frente da concorrência e a reagir aos mais recentes avanços tecnológicos, tanto em novos modelos como em humanizadores. Isso permite-nos criar uma deteção de IA que continua a ser fiável.

Em janeiro de 2025, publicámos uma atualização do nosso relatório técnico, no qual auditámos 19 ferramentas diferentes de humanização e parafraseamento. As principais conclusões foram:

• O pangrama é robusto para humanizadores e parafraseadores
• Alguns humanizadores adicionam manualmente erros de espaçamento e pontuação e fazem substituições de sinónimos um a um.
• Outros humanizadores são LLMs aperfeiçoados que são treinados para parafrasear o texto num estilo humano.
• Quanto mais legível/fluente for o texto humanizador, mais provável será que ele seja detetado pelo Pangram.
• Em outras palavras, os humanizadores «bons» em termos de fluência são mais detectáveis, e os humanizadores «ruins» são menos prováveis de serem detectados.

No entanto, o panorama dos humanizadores está a evoluir rapidamente e, por isso, decidimos publicar números atualizados sobre o nosso mais recente benchmark de humanizadores.

Resultados atualizados do humanizador do Pangram

Humanizador	Precisão
Ahrefs	100.0%
aihumanizer.com	100.0%
Ignorar GPT	99.7%
DIPPER	97.6%
IA Fantasma	100.0%
GPTinf	99.2%
Grammarly	100.0%
humanizeai.io	93.8%
humanizeai.pro	100.0%
Acabado	93.5%
Quillbot	100.0%
Scribbr	99.0%
IA semihumana	100.0%
Smodin	100.0%
StealthGPT	95.6%
SEO para surfistas	100.0%
surgegraph.io	100.0%
TwainGPT	92.7%
IA indetetável	90.3%
Writesonic IA	98.1%

O Pangram tem um desempenho superior a 90% em todos os humanizadores notáveis que testámos.

Como o Pangram se compara a outros detectores de IA em textos de IA humanizados?

Em Russell et. al., o Pangram é comparado com o GPTZero e vários métodos de código aberto em texto humanizado. O melhor modelo do Pangram tem 97% de precisão em texto humanizado, em comparação com o GPTZero com 46%, o FastDetectGPT com 23% e o Binoculars com 7%.

Desempenho do Pangram em texto humanizado em comparação com outros detetores

Um estudo muito recente realizado por Jabarian e Imas descobriu que o Pangram é o único detetor entre quatro detetores comerciais cujo desempenho é robusto em relação aos humanizadores:

Para passagens mais longas, o Pangram deteta quase 100% do texto gerado por IA. O FNR aumenta um pouco à medida que as passagens ficam mais curtas, mas ainda permanece baixo. Os outros detetores são menos robustos para humanizadores. O FNR para Originality.AI aumenta para cerca de 0,05 para textos mais longos, mas pode chegar a 0,21 para textos mais curtos, dependendo do género e do modelo LLM. O GPTZero perde grande parte da sua capacidade de detetar texto gerado por IA, com pontuações FNR em torno de 0,50 e acima na maioria dos géneros e modelos LLM. O RoBERTa tem um desempenho igualmente ruim, com pontuações FNR altas em todos os casos.

Como saber se um texto foi humanizado?

Existem várias maneiras de perceber a olho nu que um texto foi submetido a um humanizador.

Frases torturadas

Uma das maneiras mais fáceis de identificar um humanizador é procurar por «frases torturadas», que são substituições de sinónimos fora de contexto destinadas a disfarçar o plágio. Ferramentas de substituição de palavras, como Grammarly e Quillbot, já utilizavam esses algoritmos de substituição de sinónimos mesmo antes da IA para disfarçar o plágio.

Exemplos de frases distorcidas seriam «consciência falsificada» em vez de «inteligência artificial» ou «perigo no peito» em vez de «cancro da mama». No ano passado, ouvimos um caso engraçado em que «Martin Luther Ruler, Jr.» apareceu numa redação de um aluno no lugar de «Martin Luther King, Jr.».

É importante ter cuidado ao usar frases tortuosas como única forma de identificar textos de IA humanizados, pois frases tortuosas também aparecem com frequência em textos escritos por falantes não nativos de inglês, quando estes utilizam ou interpretam incorretamente o significado direto ou a forma típica de uso de certas palavras.

Erros de espaçamento não naturais

Os humanizadores frequentemente tentam enganar o tokenizador dos detetores de IA adicionando ou removendo espaços. É especialmente comum a remoção de espaços entre frases.

Frases repetitivas

O texto humanizado por IA ainda exibe as mesmas frases repetitivas que o texto não humanizado por IA. É especialmente revelador que o texto tenha vindo de um humanizador se a mesma frase tortuosa aparecer duas vezes no mesmo documento, pois isso é evidência de que o humanizador está a aplicar sistematicamente as mesmas substituições de sinónimos.

Caracteres não padrão

Os humanizadores também costumam usar caracteres Unicode não padrão para enganar os tokenizadores dos detectores de IA. Um exemplo disso é um humanizador popular que usa "U+2009", que é o caractere Unicode para "espaço fino" em vez de um espaço normal. Recomendamos este site https://www.soscisurvey.de/tools/view-chars.php, que permite ver todos os caracteres não imprimíveis que podem estar ocultos em strings copiadas e coladas.

Exemplo de caracteres não imprimíveis em texto humanizado

Ferramentas para o processo de escrita

Usando o novo recurso Writing Playback do Pangram no Google Docs, também é possível verificar se uma parte significativa do texto num documento do Google foi copiada e colada, em vez de digitada manualmente. Pode encontrar uma explicação mais detalhada sobre a deteção de IA no Google Docs aqui.

Exemplo de reprodução de escrita mostrando copiar e colar

Por que o Pangram não é 100% preciso em textos de IA humanizados?

Existem várias razões pelas quais o Pangram não é um detector perfeito para textos de IA humanizados.

1. A Pangram não está disposta a comprometer a sua taxa de falsos positivos. Vários dos nossos modelos internos são capazes de detetar humanizadores com precisão quase perfeita, mas apresentam taxas de falsos positivos mais elevadas. Não comercializamos esses modelos porque, para nós, é mais importante que textos escritos por humanos genuínos nunca sejam sinalizados como IA do que capturar todas as saídas dos humanizadores.

2. Texto "lixo" de qualidade extremamente baixa é facilmente detectável a olho nu. Na maioria dos casos em que o Pangram não detecta resultados humanizados, o texto está tão distorcido e ofuscado que mal se assemelha ao inglês. Esses casos são fáceis de identificar a olho nu, mas difíceis de detectar algoritmicamente, pois há infinitas maneiras de produzir texto sem sentido. Preferimos excluir o texto sem sentido do que tentar detetá-lo, pois não é nem mesmo adequado tentar distinguir texto sem sentido humano de texto sem sentido humanizado.

Posso esperar que o Pangram melhore o seu desempenho humanizador ao longo do tempo?

Sim, a deteção de humanizadores é uma área de investigação ativa para a Pangram e esperamos continuar a caracterizar as propriedades desses humanizadores e divulgar a nossa investigação sobre a deteção de resultados de humanizadores. Para que a Pangram seja vista como uma ferramenta fiável em matéria de integridade académica, temos de ser capazes de detetar textos produzidos por essas ferramentas de fraude, bem como textos copiados e colados diretamente de grandes modelos linguísticos.