Qual é a precisão da deteção de IA Pangram no ESL?

Uma crítica comum aos detetores de IA é que eles são tendenciosos contra falantes não nativos de inglês. Textos escritos por falantes não nativos de inglês são referidos como ESL (Inglês como Segunda Língua) ou, mais precisamente, ELL (Aprendizes da Língua Inglesa). Em artigos anteriores, explicámos por que outros detetores de IA baseados em perplexidade e explosividade são suscetíveis a essa falha.

Os falantes não nativos de inglês não possuem o vocabulário extenso nem o domínio dos padrões complexos de construção de frases em inglês necessários para escrever de forma a demonstrar alta explosividade. Portanto, as tentativas anteriores de detecção de IA falharam: muitas vezes caracterizando erroneamente o ESL como escrita gerada por IA e, assim, apresentando uma alta taxa de falsos positivos no ESL.

Estudos anteriores sobre detecção de IA e ESL

Um estudo notável da Universidade de Stanford foi publicado em julho de 2023 por Weixin Liang, James Zou e outros, alegando que os detectores GPT são tendenciosos contra escritores não nativos de inglês. Embora o estudo tenha sido realizado com uma amostra pequena (apenas 91 ensaios do exame TOEFL) e houvesse algumas falhas metodológicas (os autores decidiram rotular o texto humano modificado pelo GPT-4 como «humano» ao testar os detectores), no geral, os resultados mostraram que os sete detectores de IA testados (o Pangram não foi testado neste estudo) apresentaram um forte preconceito contra a escrita em inglês como segunda língua (ESL), com mais de 60% das amostras de escrita humana em ESL sinalizadas como IA.

Um estudo mais recente, de agosto de 2024, do ETS, um centro de serviços de testes que administra o GRE, um teste padronizado para admissão em cursos de pós-graduação, também conduziu um estudo em maior escala com cerca de 2.000 amostras de redação de falantes não nativos de inglês no GRE, em detectores simples de aprendizagem automática que eles mesmos treinaram em recursos artesanais, incluindo perplexidade. Eles não encontraram nenhum viés em seus próprios detectores contra o inglês não nativo, embora o cenário experimental fosse altamente simplificado e artificial, e haja diferenças importantes entre este estudo e o mundo real. Além disso, eles não estudaram os detectores comerciais que são realmente usados na prática. No entanto, o estudo destaca um ponto interessante: quando os dados de falantes não nativos de inglês são suficientemente representados no conjunto de treinamento, o viés resultante é suficientemente mitigado.

Desempenho do Pangram no ESL

Para medir a taxa de falsos positivos do Pangram em dados ESL, executamos o detetor de IA do Pangram em quatro conjuntos de dados ESL públicos (mantemos esses conjuntos de dados durante o treinamento, para que não haja qualquer vazamento de treinamento-teste).

Os conjuntos de dados que estudamos incluem:

• Conjunto de dados para aprendizagem da língua inglesa ELLIPSE

• Corpus Internacional de Alunos Asiáticos de Inglês

• Corpus de Ensino da Língua Inglesa de Pittsburgh

• Conjunto de dados TOEFL do estudo de Liang et. al. da Universidade de Stanford

Os resultados estão abaixo.

Conjunto de dados	Taxa de falsos positivos	Tamanho da amostra
ELIPSE	0.00%	3,907
ICNALE	0.018%	5,600
PELIC	0.045%	15,423
Liang TOEFL	0%	91
No geral	0.032%	25,021

A taxa geral de falsos positivos do Pangram é de 0,032%, o que não é significativamente superior à nossa taxa geral de falsos positivos de 0,01%.

Pangram vs. TurnItIn

Comparamos diretamente o Pangram com o TurnItIn usando os mesmos conjuntos de dados que o TurnItIn usou em uma avaliação pública do seu Indicador de Redação de IA.

Avaliamos tanto o inglês "L1" (não ESL) quanto o "L2" (ESL) nos mesmos conjuntos de dados que o TurnItIn. Como o TurnItIn não avalia documentos com mais de 300 palavras, aplicamos a mesma filtragem ao conjunto de dados antes da avaliação.

Conjunto de dados	Pangram FPR	TurnItIn FPR
Inglês L2 Mais de 300 palavras	0.02%	1.4%
L1 Inglês 300+ palavras	0.00%	1.3%

Constatamos que o Pangram é duas ordens de magnitude mais preciso do que o TurnItIn em textos ESL e que o Pangram não detecta falsos positivos em textos em inglês nativo neste estudo.

Pangram vs. GPTZero

O GPTZero relata uma taxa de falsos positivos de 1,1% no estudo original de Liang sobre o TOEFL, embora 6,6% do conjunto de dados do Liang TOEFL também seja classificado erroneamente como «Possível conteúdo de IA».

Em comparação, o Pangram não relata um único falso positivo no conjunto de dados Liang TOEFL, e estamos altamente confiantes em todos os exemplos.

Como o Pangram mitiga os falsos positivos na escrita em inglês como segunda língua?

Na Pangram, levamos muito a sério o nosso desempenho em inglês não nativo e, por isso, utilizamos várias estratégias para mitigar falsos positivos no nosso modelo de detecção de escrita por IA.

Dados

Os modelos de aprendizagem automática não têm um bom desempenho fora da sua distribuição de treino, por isso, tomamos o cuidado de garantir que textos em idiomas diferentes do inglês sejam incluídos no nosso conjunto de dados.

No entanto, não paramos por aí. Enquanto outros detectores de escrita com IA se concentram especificamente apenas em textos escritos por estudantes e ensaios académicos, treinamos o nosso modelo com um amplo espectro de textos. Outros detectores de escrita com IA treinados apenas em ensaios muitas vezes sofrem com uma sub-representação do inglês mais casual e coloquial no conjunto de treino. Em contrapartida, usamos textos de redes sociais, avaliações e textos gerais da Internet, que muitas vezes são informais e mais representativos da escrita imperfeita semelhante ao inglês usado por falantes não nativos ou estudantes da língua inglesa.

Também nos preocupamos em incluir fontes que possam conter textos escritos em inglês não nativo, mesmo que essas fontes não sejam especificamente conjuntos de dados de ESL. Por exemplo, textos em inglês em sites com domínios estrangeiros são uma excelente fonte de textos escritos em inglês não nativo.

Capacidades multilingues

Além disso, ao contrário de outros detetores de IA, não restringimos o nosso domínio apenas ao inglês. Na verdade, não restringimos a língua do nosso modelo de forma alguma: utilizaremos todas as línguas presentes na Internet para treinar o nosso modelo, para que ele tenha um bom desempenho em todas as línguas comuns.

Já escrevemos anteriormente sobre o nosso excelente desempenho multilingue e acreditamos que as técnicas que utilizámos para fazer o Pangram funcionar muito bem noutras línguas também se aplicam muito bem ao ESL.

Embora não possamos ter certeza absoluta sobre quais mecanismos são responsáveis pela boa generalização e transferência, suspeitamos que o ESL possa ser considerado quase uma língua adjacente ao inglês. Ao otimizar o modelo para ter um bom desempenho em todas as línguas, ele não pode se ajustar excessivamente a estilos específicos de qualquer língua, construções gramaticais ou escolhas de palavras específicas das formas comuns como as ideias são expressas em qualquer língua específica. Ao analisar textos humanos em todas as línguas, ensinamos ao modelo como todos os humanos escrevem, não apenas os falantes nativos de inglês. Isso torna o modelo menos propenso a se concentrar incorretamente em padrões idiomáticos expressos por falantes nativos.

Aprendizagem ativa

A nossa abordagem de aprendizagem ativa é a razão pela qual o Pangram é muito mais preciso e sinaliza significativamente menos textos humanos como IA do que os concorrentes.

Ao alternar iterativamente entre o treino e a mineração negativa rigorosa, encontramos os exemplos humanos que mais se assemelham ao texto gerado pela IA para treino. Essa abordagem não apenas revela exemplos humanos que são mais semelhantes ao texto gerado pela IA, o que ajuda o modelo a compreender as diferenças sutis entre o texto ESL e o texto gerado pela IA, mas também nos ajuda a encontrar exemplos semelhantes ao ESL que serão bem transferidos e ajudarão o modelo a aprender padrões melhores em geral.

Estratégias de incentivo

Ao criar exemplos de IA para o modelo aprender, tentamos usar uma variedade exaustiva de prompts para que o modelo possa generalizar para diferentes estilos de escrita. Por exemplo, frequentemente adicionamos modificadores ao final dos nossos prompts, como «Escreva este ensaio no estilo de um estudante do ensino secundário» ou «Escreva este artigo no estilo de um falante não nativo de inglês».

Ao criar tantos estilos diferentes de escrita, o modelo não aprende apenas a forma padrão como os modelos de linguagem de IA escrevem: ele aprende os padrões fundamentais subjacentes ao texto de IA.

De uma perspetiva estatística, concebemos o nosso pipeline de espelho sintético de forma a que o nosso modelo acabe por ser invariante a características irrelevantes, tais como o tópico, o nível de escrita ou o tom. Ao estimular o modelo de forma a corresponder às características do texto humano, incorporamos a invariância através de um número igual de exemplos humanos e de IA que exibem cada característica.

Avaliação rigorosa e garantia de qualidade

Por fim, empregamos um processo de avaliação e controle de qualidade extremamente abrangente e rigoroso antes de aprovar cada nova atualização do modelo.

Na avaliação, focamos tanto na qualidade quanto na quantidade. Por exemplo, o conjunto de dados Liang TOEFL tem apenas 91 exemplos, portanto, só conseguiríamos obter uma estimativa muito aproximada da nossa taxa de falsos positivos no ESL se usássemos apenas o conjunto de dados Liang TOEFL. Se obtivéssemos apenas um único exemplo errado, reportaríamos uma taxa de falsos positivos de 1,1%, pelo que não seríamos capazes de distinguir entre modelos que têm realmente uma FPR verdadeira inferior a 1%.

Como nos esforçamos para ter uma taxa de falsos positivos muito inferior a 1% (a nossa meta é uma taxa entre 1 em 10.000 e 1 em 100.000), precisamos medir milhões de exemplos para poder confirmar uma precisão nesse nível.

Ter uma avaliação em grande escala também nos ajuda a obter uma melhor intuição sobre os modos de falha que o nosso modelo apresenta e corrigi-los ao longo do tempo, obtendo melhores dados e criando melhores estratégias algorítmicas direcionadas especificamente para os nossos casos de falha.

Os detetores de IA são confiáveis no ESL?

Através das nossas medições, resultados de avaliação detalhados e estratégias de mitigação explicáveis, acreditamos que o Pangram é suficientemente preciso para falantes não nativos de inglês para ser implementado no ambiente educativo.

No entanto, ter um detetor de IA suficientemente imparcial não é suficiente para evitar todas as formas de preconceito no processo de integridade académica. Os educadores devem estar cientes de que o preconceito pode surgir de formas inconscientes. Por exemplo, se um educador estiver mais propenso a usar um detetor de IA em trabalhos apresentados por falantes não nativos de inglês devido à suspeita subconsciente de que os alunos de ESL são menos honestos, isso é uma forma de preconceito.

Além disso, os professores precisam estar cientes de que falantes não nativos de inglês sofrem desvantagens inerentes no meio académico em comparação com os seus colegas nativos. Os alunos de ESL são mais propensos a usar ferramentas externas, como o ChatGPT, para melhorar a sua escrita, o que, quando usado em quantidade suficiente, aciona o software de deteção de IA. É por isso que recomendamos a Escala de Avaliação de IA da Perkins para facilitar uma comunicação clara com os alunos sobre que tipo de assistência de IA é permitida e o que não é.

Por fim, sabemos que os alunos copiam quando estão sob stress e pressão, sentem falta de autoeficácia, especialmente quando comparados com os seus colegas, e quando sentem que usar uma ferramenta para copiar é a única maneira de serem bem-sucedidos. Incentivamos os educadores a abordar essas preocupações de forma proativa, oferecendo apoio a esses alunos, comunicando claramente que tipo de assistência está disponível e é permitida e, potencialmente, repensando estratégias de avaliação que não esperam um inglês perfeito de alunos que já chegam à sala de aula em desvantagem.

O Pangram deve ser usado como uma ferramenta para ajudar a apoiar a integridade académica, para que os educadores possam compreender a melhor forma de proceder para apoiar a aprendizagem dos seus alunos.

Para saber mais sobre a nossa investigação e as formas como mitigamos o preconceito no nosso software de deteção de IA, entre em contacto connosco através do e-mail info@pangram.com.