Qual é o nível de precisão da deteção de pangramas por IA no ESL?

Atualizado em maio de 2026 com o [lançamento do Pangram 3.3]

Uma crítica comum aos detectores de IA é que estes apresentam um viés contra falantes de inglês não nativos. Os textos escritos por falantes de inglês não nativos são designados por ESL (Inglês como Segunda Língua) ou, mais precisamente, ELL (Alunos que Estão a Aprender Inglês). Em artigos anteriores, explicámos por que razão outros detectores de IA baseados na perplexidade e na variabilidade são suscetíveis a esta falha.

Os falantes de inglês não nativos não dispõem de um vocabulário suficientemente vasto nem do domínio dos padrões complexos de construção de frases em inglês para escreverem de uma forma que revele um elevado nível de espontaneidade. Por conseguinte, as tentativas anteriores de deteção de IA ficaram aquém do esperado: muitas vezes confundiram textos escritos por falantes de inglês como segunda língua (ESL) com textos gerados por IA, apresentando assim uma elevada taxa de falsos positivos em relação aos textos ESL.

Estudos anteriores sobre a deteção de IA e a ESL

Um estudo notável da Universidade de Stanford foi publicado em julho de 2023 por Weixin Liang, James Zou e outros, alegando que os detectores de GPT apresentam um viés contra escritores cuja língua materna não é o inglês. Embora o estudo tenha sido realizado com uma amostra de pequena dimensão (apenas 91 ensaios do exame TOEFL) e apresentasse algumas falhas metodológicas (os autores decidiram classificar o texto humano modificado pelo GPT-4 como «humano» ao testar os detetores), no geral, os resultados mostraram que os sete detetores de IA testados (o Pangram não foi testado neste estudo) revelaram um forte preconceito contra a escrita de falantes de inglês como segunda língua (ESL) — com mais de 60% das amostras de escrita humana de ESL sinalizadas como IA.

Um estudo mais recente, de agosto de 2024, realizado pelo ETS — um centro de serviços de avaliação que administra o GRE, um teste padronizado para admissão em cursos de pós-graduação —, também conduziu uma investigação em maior escala sobre cerca de 2 000 amostras de redação de falantes não nativos de inglês no GRE, utilizando detectores simples de aprendizagem automática que eles próprios treinaram com características definidas manualmente, incluindo a perplexidade. Não encontraram qualquer viés nos seus próprios detetores contra o inglês não nativo, embora o cenário experimental fosse altamente simplificado e artificial, e existam diferenças importantes entre este estudo e o mundo real. Além disso, não estudaram os detetores comerciais que são efetivamente utilizados na prática. No entanto, o estudo destaca um ponto interessante: quando os dados de falantes não nativos de inglês estão suficientemente representados no conjunto de treino, o viés resultante é suficientemente mitigado.

A atuação de Pangram no ESL

Para avaliar a taxa de falsos positivos do Pangram em dados de ESL, executámos o detetor de IA do Pangram em quatro conjuntos de dados públicos de ESL (retemos estes conjuntos de dados durante o treino, para que não haja qualquer fuga de informação entre o treino e o teste).

Os conjuntos de dados que estudamos incluem:

• Conjunto de dados ELLIPSE para a aprendizagem da língua inglesa

• Corpus Internacional de Alunos Asiáticos de Inglês

• Corpus de Ensino da Língua Inglesa de Pittsburgh

• Conjunto de dados do TOEFL do estudo de Liang et al. da Universidade de Stanford

Os resultados encontram-se abaixo.

A taxa global de falsos positivos do Pangram é de 0,078 %, o que não é significativamente superior à nossa taxa geral de falsos positivos de 0,01 %.

Pangram vs. TurnItIn

Comparamos diretamente o Pangram com o TurnItIn utilizando os mesmos conjuntos de dados que o TurnItIn utilizou numa avaliação pública do seu Indicador de Redação por IA.

Avaliamos tanto o inglês «L1» (não ESL) como o «L2» (ESL) nos mesmos conjuntos de dados que o TurnItIn. Como o TurnItIn não avalia documentos com mais de 300 palavras, aplicamos a mesma filtragem ao conjunto de dados antes da avaliação.

Constatamos que o Pangram é duas ordens de magnitude mais preciso do que o TurnItIn em textos de falantes de inglês como segunda língua e que o Pangram não deteta quaisquer falsos positivos em textos de falantes nativos de inglês incluídos neste estudo.

Pangram vs. GPTZero

O GPTZero indica uma taxa de falsos positivos de 1,1% no estudo original de Liang sobre o TOEFL, embora 6,6% do conjunto de dados do TOEFL de Liang também tenha sido classificado erroneamente como «Possível conteúdo de IA».

Em comparação, o Pangram não regista um único falso positivo no conjunto de dados Liang TOEFL, e estamos altamente confiantes em relação a todos os exemplos.

Como é que o Pangram reduz os falsos positivos na escrita de alunos cuja língua materna não é o inglês?

Na Pangram, levamos muito a sério o nosso desempenho no que diz respeito a utilizadores cuja língua materna não é o inglês; por isso, recorremos a várias estratégias para reduzir os falsos positivos no nosso modelo de deteção de escrita gerada por IA.

Dados

Os modelos de aprendizagem automática não apresentam um bom desempenho fora da sua distribuição de treino; por isso, temos o cuidado de garantir que o nosso conjunto de dados inclua texto em inglês não nativo.

No entanto, não nos limitamos a isso. Enquanto outros detectores de escrita gerada por IA se concentram especificamente apenas em textos de estudantes e ensaios académicos, treinamos o nosso modelo com um amplo leque de textos. Outros detetores de escrita gerada por IA treinados apenas com ensaios sofrem frequentemente de uma sub-representação do inglês mais coloquial e informal no conjunto de treino. Em contrapartida, utilizamos textos de redes sociais, críticas e textos gerais da Internet, que são frequentemente informais e mais representativos de uma escrita imperfeita, semelhante ao inglês utilizado por falantes não nativos ou por alunos que estão a aprender inglês.

Também nos preocupamos em incluir fontes que possam conter textos redigidos em inglês por falantes não nativos, mesmo que essas fontes não sejam especificamente conjuntos de dados de ESL. Por exemplo, os textos em inglês presentes em sites com domínios estrangeiros constituem uma excelente fonte de textos redigidos em inglês por falantes não nativos.

Funcionalidades multilingues

Além disso, ao contrário de outros detectores de IA, não limitamos o nosso âmbito apenas ao inglês. Na verdade, não impomos qualquer restrição ao idioma do nosso modelo: utilizaremos todos e quaisquer idiomas presentes na Internet para treinar o nosso modelo, de modo a que este tenha um bom desempenho em todos os idiomas comuns.

Já escrevemos anteriormente sobre o nosso excelente desempenho multilingue e acreditamos que as técnicas que utilizámos para que o Pangram funcionasse muito bem noutras línguas também se aplicam muito bem ao ensino de inglês como segunda língua (ESL).

Embora não possamos ter a certeza absoluta de quais são os mecanismos responsáveis pela boa generalização e transferência, suspeitamos que o ESL possa ser considerado quase uma língua adjacente ao inglês. Ao otimizar o modelo para ter um bom desempenho em todas as línguas, este não se adapta excessivamente a estilos, construções gramaticais ou escolhas lexicais específicos de cada língua, nem às formas comuns como as ideias são expressas em qualquer língua em particular. Ao analisar textos humanos em todas as línguas, ensinamos ao modelo como todos os seres humanos escrevem, e não apenas os falantes nativos de inglês. Isto torna o modelo menos propenso a concentrar-se incorretamente em padrões idiomáticos expressos por falantes nativos.

Aprendizagem ativa

A nossa abordagem de aprendizagem ativa é a razão pela qual o Pangram é muito mais preciso e identifica significativamente menos texto escrito por humanos como sendo de IA do que os concorrentes.

Ao alternar iterativamente entre o treino e a mineração de exemplos negativos rigorosos, identificamos os exemplos humanos que mais se assemelham ao texto gerado por IA para o treino. Esta abordagem não só revela os exemplos humanos mais semelhantes ao texto gerado por IA — o que ajuda o modelo a compreender as diferenças subtis entre o texto de falantes de língua estrangeira (ESL) e o texto gerado por IA —, como também nos ajuda a encontrar exemplos semelhantes ao ESL que se irão transferir bem e ajudarão o modelo a aprender melhores padrões em geral.

Estratégias de sugestão

Ao criar exemplos de IA para o modelo aprender, procuramos utilizar uma variedade exaustiva de prompts, para que o modelo consiga generalizar para diferentes estilos de escrita. Por exemplo, costumamos adicionar modificadores ao final dos nossos prompts, tais como «Escreve este ensaio no estilo de um aluno do ensino secundário» ou «Escreve este artigo no estilo de alguém cuja língua materna não é o inglês».

Ao criar tantos estilos diferentes de escrita, o modelo não se limita a aprender a forma padrão como os modelos de linguagem de IA escrevem: aprende os padrões fundamentais subjacentes ao texto gerado pela IA.

De uma perspetiva estatística, concebemos o nosso pipeline de espelho sintético de forma a que o nosso modelo acabe por ser invariante em relação a características irrelevantes, tais como o tema, o nível de escrita ou o tom. Ao fornecer prompts ao modelo de forma a corresponder às características do texto humano, incorporamos essa invariância através de um número igual de exemplos humanos e de IA que apresentam cada uma dessas características.

Avaliação rigorosa e controlo de qualidade

Por fim, aplicamos um processo de avaliação e controlo de qualidade extremamente abrangente e rigoroso antes de aprovar cada nova atualização do modelo.

Na avaliação, focamo-nos tanto na qualidade como na quantidade. Por exemplo, o conjunto de dados Liang TOEFL tem apenas 91 exemplos, pelo que só conseguiríamos obter uma estimativa muito aproximada da nossa taxa de falsos positivos no ESL se utilizássemos apenas esse conjunto de dados. Se errássemos apenas um único exemplo, reportaríamos uma taxa de falsos positivos de 1,1%, pelo que não seríamos capazes de distinguir entre modelos que têm, na realidade, uma FPR (taxa de falsos positivos) inferior a 1%.

Uma vez que nos esforçamos por manter uma taxa de falsos positivos muito inferior a 1% (a nossa meta situa-se entre 1 em 10 000 e 1 em 100 000), precisamos de analisar milhões de exemplos para podermos confirmar uma precisão a esse nível.

A realização de avaliações em grande escala também nos ajuda a compreender melhor os modos de falha que o nosso modelo apresenta e a corrigi-los ao longo do tempo, através da obtenção de dados de melhor qualidade e da conceção de estratégias algorítmicas mais eficazes, especificamente direcionadas para os nossos casos de falha.

É possível confiar nos detectores de IA no ESL?

Com base nas nossas medições, nos resultados detalhados da avaliação e nas estratégias de mitigação explicáveis, acreditamos que o Pangram é suficientemente preciso para falantes de inglês não nativos, podendo assim ser implementado no contexto educativo.

No entanto, dispor de um detetor de IA suficientemente imparcial não é suficiente para evitar todas as formas de preconceito no processo de integridade académica. Os docentes devem estar cientes de que o preconceito pode manifestar-se de formas inconscientes. Por exemplo, se um docente tiver maior tendência para utilizar um detetor de IA nos trabalhos apresentados por falantes não nativos de inglês devido a uma suspeita subconsciente de que os alunos de inglês como segunda língua (ESL) são menos honestos, isso constitui uma forma de preconceito.

Além disso, os professores devem estar cientes de que os falantes não nativos de inglês enfrentam desvantagens inerentes no meio académico, em comparação com os seus colegas nativos. Os alunos de ESL (Inglês como Segunda Língua) tendem a recorrer a ferramentas externas, como o ChatGPT, para melhorar a sua escrita; no entanto, quando utilizadas em quantidade excessiva, estas ferramentas são detetadas pelos softwares de deteção de IA. É por isso que recomendamos a Escala de Avaliação de IA de Perkins, para facilitar uma comunicação clara com os alunos sobre que tipo de assistência de IA é permitida e qual não é.

Por fim, sabemos que os alunos recorrem à fraude quando se encontram sob stress e pressão, sentem falta de autoeficácia — especialmente quando comparados com os seus colegas — e quando consideram que o uso de meios de fraude é a única forma de alcançarem o sucesso. Encorajamos os educadores a abordar estas questões de forma proativa, prestando apoio a estes alunos, comunicando claramente que tipo de assistência está disponível e é permitida e, eventualmente, repensando as estratégias de avaliação que exigem um inglês perfeito de alunos que chegam à sala de aula já em desvantagem.

O Pangram deve ser utilizado como uma ferramenta para ajudar a promover a integridade académica, para que os educadores possam compreender a melhor forma de proceder para apoiar a aprendizagem dos seus alunos.

Para saber mais sobre a nossa investigação e sobre as formas como mitigamos o preconceito no nosso software de deteção por IA, contacte-nos através do endereço info@pangram.com.