Qual é o nível de precisão da deteção de pangramas por IA no ESL?
O detetor de IA da Pangram mantém uma baixa taxa de falsos positivos na escrita de falantes de inglês como segunda língua — como medimos e mitigamos o preconceito contra falantes não nativos de inglês.
Índice
- Estudos anteriores sobre a deteção de IA e a ESL
- A atuação de Pangram no ESL
- Pangram vs. Turnitin
- Pangram vs. GPTZero
- Como é que o Pangram reduz os falsos positivos na escrita de alunos cuja língua materna não é o inglês?
- Dados
- Funcionalidades multilingues
- Aprendizagem ativa
- Estratégias de sugestão
- Avaliação rigorosa e controlo de qualidade
- É possível confiar nos detectores de IA no ESL?
Atualizado em maio de 2026, com o lançamento do Pangram 3.3
Uma crítica comum aos detectores de IA é que estes apresentam um viés contra falantes de inglês não nativos. Os textos escritos por falantes de inglês não nativos são designados por ESL (Inglês como Segunda Língua) ou, mais precisamente, ELL (Alunos que Estão a Aprender Inglês). Em artigos anteriores, explicámos por que razão outros detectores de IA baseados na perplexidade e na variabilidade são suscetíveis a esta falha.
Os falantes de inglês não nativos escrevem frequentemente num inglês mais consistente e regular do que os falantes nativos, e os detetores baseados na variabilidade confundem essa regularidade com IA. Por conseguinte, as tentativas anteriores de deteção de IA ficaram aquém do esperado: muitas vezes caracterizaram erroneamente os textos de falantes de inglês como segunda língua (ESL) como sendo gerados por IA, apresentando assim uma elevada taxa de falsos positivos nos textos ESL.
Estudos anteriores sobre a deteção de IA e a ESL
Um estudo notável da Universidade de Stanford foi publicado em julho de 2023 por Weixin Liang, James Zou e outros, alegando que os detetores de GPT apresentam um viés contra escritores cuja língua materna não é o inglês. Embora o estudo tenha sido realizado com uma amostra de pequena dimensão (apenas 91 ensaios do exame TOEFL) e apresentasse algumas falhas metodológicas (os autores decidiram classificar o texto humano modificado pelo GPT-4 como «humano» ao testar os detetores), no geral, os resultados revelaram que os sete detetores de IA testados (o Pangram não foi testado neste estudo) demonstraram um forte preconceito contra a escrita de falantes de inglês como segunda língua (ESL), com mais de 60% das amostras de escrita humana de ESL sinalizadas como sendo de IA.
Um estudo mais recente, de agosto de 2024, realizado pelo ETS — um centro de serviços de avaliação que administra o GRE, um teste padronizado para admissão em cursos de pós-graduação —, também analisou, em maior escala, cerca de 2 000 amostras de redação de falantes não nativos de inglês no GRE, utilizando detectores simples de aprendizagem automática que eles próprios treinaram com características definidas manualmente, incluindo a perplexidade. Não encontraram qualquer viés nos seus próprios detetores contra falantes não nativos de inglês, embora o cenário experimental fosse altamente simplificado e artificial, e existam diferenças importantes entre este estudo e o mundo real. Além disso, não analisaram os detetores comerciais que são efetivamente utilizados na prática. No entanto, o estudo destaca um ponto interessante: quando os dados de falantes não nativos de inglês estão suficientemente representados no conjunto de treino, o viés resultante é suficientemente atenuado.
A atuação de Pangram no ESL
Para avaliar a taxa de falsos positivos do Pangram em dados de ESL, executámos o detetor de IA do Pangram em quatro conjuntos de dados públicos de ESL (retivemos estes conjuntos de dados durante o treino, para que não houvesse qualquer fuga de informação entre o treino e o teste).
Os conjuntos de dados que estudamos incluem:
-
Conjunto de dados ELLIPSE para a aprendizagem da língua inglesa
-
Conjunto de dados do TOEFL do estudo de Liang et al. da Universidade de Stanford
Os resultados encontram-se abaixo.
| Conjunto de dados | Taxa de falsos positivos | Tamanho da amostra |
|---|---|---|
| ELIPSE | 0% | 3,907 |
| ICNALE | 0% | 5,600 |
| PELIC | 0.019% | 15,423 |
| Liang TOEFL | 0% | 91 |
| No geral | 0.012% | 25,021 |
A taxa global de falsos positivos do Pangram é de 0,012%, o que não é significativamente superior à nossa taxa geral de falsos positivos de 0,01%.
Pangram vs. Turnitin
Comparamos diretamente o Pangram com o Turnitin, utilizando os mesmos conjuntos de dados que o Turnitin utilizou numa avaliação pública do seu Indicador de Redação por IA.
Avaliamos tanto o inglês «L1» (não ESL) como o «L2» (ESL) nos mesmos conjuntos de dados que o Turnitin. Uma vez que o Turnitin não avalia documentos com menos de 300 palavras, aplicamos o mesmo filtro ao conjunto de dados antes da avaliação.
| Conjunto de dados | Pangram FPR | Turnitin FPR |
|---|---|---|
| Inglês L2 Mais de 300 palavras | 0.02% | 1.4% |
| L1 Inglês 300+ palavras | 0.00% | 1.3% |
Constatamos que a taxa de falsos positivos do Pangram em textos de alunos que estão a aprender inglês (ESL) é cerca de 70 vezes inferior à do Turnitin e que o Pangram não deteta quaisquer falsos positivos em textos de falantes nativos de inglês incluídos neste estudo.
Pangram vs. GPTZero
O GPTZero indica uma taxa de falsos positivos de 1,1% no estudo original de Liang sobre o TOEFL, embora 6,6% do conjunto de dados do TOEFL de Liang também tenha sido classificado erroneamente como «Possível conteúdo de IA».
Em comparação, o Pangram não regista um único falso positivo no conjunto de dados Liang TOEFL, e estamos altamente confiantes em relação a todos os exemplos.
Como é que o Pangram reduz os falsos positivos na escrita de alunos cuja língua materna não é o inglês?
Na Pangram, levamos muito a sério o nosso desempenho no que diz respeito a utilizadores cuja língua materna não é o inglês; por isso, recorremos a várias estratégias para reduzir os falsos positivos no nosso modelo de deteção de escrita gerada por IA.
Dados
Os modelos de aprendizagem automática não apresentam um bom desempenho fora da sua distribuição de treino; por isso, temos o cuidado de garantir que o nosso conjunto de dados inclua texto em inglês não nativo.
No entanto, não nos limitamos a isso. Enquanto outros detectores de escrita gerada por IA se concentram especificamente apenas em textos de estudantes e ensaios académicos, treinamos o nosso modelo com um amplo leque de textos. Outros detetores de escrita gerada por IA treinados apenas com ensaios sofrem frequentemente de uma sub-representação do inglês mais coloquial e informal no conjunto de treino. Em contrapartida, utilizamos textos de redes sociais, críticas e textos gerais da Internet, que são frequentemente informais e mais representativos de uma escrita imperfeita, semelhante ao inglês utilizado por falantes não nativos ou por alunos que estão a aprender inglês.
Também nos preocupamos em incluir fontes que possam conter textos escritos em inglês por falantes não nativos, mesmo que essas fontes não sejam especificamente conjuntos de dados de ESL. Por exemplo, os textos em inglês presentes em sítios Web com domínios estrangeiros constituem uma excelente fonte de textos escritos em inglês por falantes não nativos.
Funcionalidades multilingues
Além disso, ao contrário de outros detectores de IA, não limitamos o nosso âmbito apenas ao inglês. Na verdade, não impomos qualquer restrição ao idioma do nosso modelo: utilizaremos todos e quaisquer idiomas presentes na Internet para treinar o nosso modelo, de modo a que este tenha um bom desempenho em todos os idiomas comuns.
Já escrevemos anteriormente sobre o nosso excelente desempenho multilingue e acreditamos que as técnicas que utilizámos para que o Pangram funcionasse muito bem noutras línguas também se aplicam muito bem ao ensino de inglês como segunda língua (ESL).
Embora não possamos ter a certeza absoluta de quais são os mecanismos responsáveis pela boa generalização e transferência, suspeitamos que o ESL possa ser considerado quase uma língua adjacente ao inglês. Ao otimizar o modelo para ter um bom desempenho em todas as línguas, este não se adapta excessivamente a estilos, construções gramaticais ou escolhas lexicais específicos de cada língua, nem às formas comuns como as ideias são expressas em qualquer língua em particular. Ao analisar textos humanos em todas as línguas, ensinamos ao modelo como todos os seres humanos escrevem, e não apenas os falantes nativos de inglês. Isto torna o modelo menos propenso a concentrar-se incorretamente em padrões idiomáticos expressos por falantes nativos.
Aprendizagem ativa
A nossa abordagem de aprendizagem ativa é a razão pela qual o Pangram é muito mais preciso e identifica significativamente menos texto escrito por humanos como sendo de IA do que os concorrentes.
Ao alternar iterativamente entre o treino e a mineração de exemplos negativos rigorosos, identificamos os exemplos humanos que mais se assemelham ao texto gerado por IA para o treino. Esta abordagem não só revela os exemplos humanos mais semelhantes ao texto gerado por IA — o que ajuda o modelo a compreender as diferenças subtis entre o texto de falantes de língua estrangeira (ESL) e o texto gerado por IA —, como também nos ajuda a encontrar exemplos semelhantes ao ESL que se irão transferir bem e ajudarão o modelo a aprender melhores padrões em geral.
Estratégias de sugestão
Ao criar exemplos de IA para o modelo aprender, procuramos utilizar uma variedade exaustiva de prompts, para que o modelo consiga generalizar para diferentes estilos de escrita. Por exemplo, costumamos adicionar modificadores ao final dos nossos prompts, tais como «Escreve este ensaio no estilo de um aluno do ensino secundário» ou «Escreve este artigo no estilo de alguém cuja língua materna não é o inglês».
Ao criar tantos estilos diferentes de escrita, o modelo não se limita a aprender a forma padrão como os modelos de linguagem de IA escrevem: aprende os padrões fundamentais subjacentes ao texto gerado pela IA.
De uma perspetiva estatística, concebemos o nosso pipeline de espelho sintético de forma a que o nosso modelo acabe por ser invariante em relação a características irrelevantes, tais como o tema, o nível de escrita ou o tom. Ao fornecer prompts ao modelo de forma a corresponder às características do texto humano, incorporamos essa invariância através de um número igual de exemplos humanos e de IA que apresentam cada uma dessas características.
Avaliação rigorosa e controlo de qualidade
Por fim, aplicamos um processo de avaliação e controlo de qualidade extremamente abrangente e rigoroso antes de aprovar cada nova atualização do modelo.
Na avaliação, focamo-nos tanto na qualidade como na quantidade. Por exemplo, o conjunto de dados Liang TOEFL tem apenas 91 exemplos, pelo que só conseguiríamos obter uma estimativa muito aproximada da nossa taxa de falsos positivos no ESL se utilizássemos apenas esse conjunto de dados. Se errássemos apenas um único exemplo, reportaríamos uma taxa de falsos positivos de 1,1%, pelo que não seríamos capazes de distinguir entre modelos que têm, na realidade, uma FPR (taxa de falsos positivos) inferior a 1%.
Uma vez que nos esforçamos por ter uma taxa de falsos positivos muito inferior a 1% (a nossa meta para a taxa de falsos positivos situa-se entre 1 em 10 000 e 1 em 100 000), precisamos de analisar milhões de exemplos para podermos confirmar uma precisão a esse nível.
A realização de avaliações em grande escala também nos ajuda a compreender melhor os modos de falha que o nosso modelo apresenta e a corrigi-los ao longo do tempo, através da obtenção de dados de melhor qualidade e da conceção de estratégias algorítmicas mais eficazes, especificamente direcionadas para os nossos casos de falha.
É possível confiar nos detectores de IA no ESL?
Com base nas nossas medições, nos resultados detalhados da avaliação e nas estratégias de mitigação explicáveis, acreditamos que o Pangram é suficientemente preciso para falantes de inglês não nativos, podendo assim ser implementado no contexto educativo.
No entanto, dispor de um detetor de IA suficientemente imparcial não é suficiente para evitar todas as formas de preconceito no processo de integridade académica. Os docentes devem estar cientes de que o preconceito pode manifestar-se de formas inconscientes. Por exemplo, se um docente tiver maior tendência para utilizar um detetor de IA nos trabalhos apresentados por falantes não nativos de inglês devido a uma suspeita subconsciente de que os alunos de inglês como segunda língua (ESL) são menos honestos, isso constitui uma forma de preconceito.
Além disso, os professores devem estar cientes de que os falantes não nativos de inglês enfrentam desvantagens inerentes no meio académico, em comparação com os seus colegas nativos. Os alunos de inglês como segunda língua (ESL) têm maior tendência a recorrer a ferramentas externas, como o ChatGPT, para melhorar a sua escrita, o que, quando utilizado em quantidade suficiente, acaba por acionar o software de deteção de IA. É por isso que recomendamos a Escala de Avaliação de IA de Perkins para facilitar uma comunicação clara com os alunos sobre que tipo de assistência por IA é permitida e qual não é.
Por fim, sabemos que os alunos recorrem à fraude quando se encontram sob stress e pressão, ou quando sentem que o uso de uma ferramenta de IA é a única forma de terem sucesso. Encorajamos os educadores a abordar estes fatores de forma proativa, prestando apoio a estes alunos, comunicando claramente que tipo de assistência está disponível e é permitida e, eventualmente, repensando as estratégias de avaliação que exigem um inglês perfeito de alunos que chegam à sala de aula já em situação de desvantagem.
O Pangram deve ser utilizado como uma ferramenta para ajudar a promover a integridade académica, para que os educadores possam compreender a melhor forma de proceder para apoiar a aprendizagem dos seus alunos.
Para saber mais sobre a nossa investigação e sobre as formas como mitigamos o preconceito no nosso software de deteção por IA, contacte-nos através do endereço info@pangram.com.

Bradley é investigador na área da IA e especialista no desenvolvimento de produtos de aprendizagem profunda no setor industrial. Recentemente, liderou o grupo de investigação em aprendizagem profunda da Absci, uma empresa de descoberta de medicamentos que utiliza IA generativa, e, anteriormente, integrou a equipa principal de visão computacional do Tesla Autopilot.
Leitura relacionada

O Desafio da Avaliação

O Pangram é fiável?

A tua imagem continua a ser real depois das edições feitas pela IA?

Uma abordagem mosaica à integridade académica na era da IA (com Chris Ostro)

O que fazer quando um trabalho de um aluno é sinalizado como sendo de IA
