O Pangram não deteta nenhum falso positivo em ensaios de alunos de diversas origens

É importante compreender o desempenho do Pangram em relação a diversos tipos de autores. Não é fácil obter conjuntos de dados de ensaios escritos por pessoas que incluam informações demográficas sobre os autores, mas avaliar o desempenho do Pangram em textos produzidos por diferentes tipos de escritores — incluindo estudantes com deficiência, pessoas de cor, falantes não nativos de inglês e grupos economicamente desfavorecidos — é essencial para compreender se o modelo trata todos os escritores de forma justa.

O conjunto de dados PERSUADE ajuda a dar resposta a esta questão. Desenvolvido para promover a criação de algoritmos imparciais destinados a avaliar a escrita dos alunos, o PERSUADE («Ensaios Persuasivos para Avaliação, Seleção e Compreensão de Elementos Argumentativos e Discursivos») é uma coleção rotulada de quase 26 mil ensaios de alunos do ensino básico e secundário dos Estados Unidos, escritos entre 2010 e 2020. O conjunto de dados abrange alunos de diversas origens e níveis de capacidade, e cada ensaio está rotulado com informações demográficas sobre o autor, tais como ano de escolaridade, género, etnia e contexto socioeconómico.

O conjunto de dados PERSUADE oferece uma excelente oportunidade para avaliar o Pangram por duas razões. Em primeiro lugar, o Pangram não é treinado com o conjunto de dados PERSUADE, pelo que podemos utilizá-lo para testar a capacidade de generalização do Pangram em relação a textos de alunos nunca antes vistos. Em segundo lugar, os dados demográficos do PERSUADE — incluindo amostras de textos de populações vulneráveis — permitem-nos examinar se o Pangram tem um desempenho equitativo entre os diferentes grupos demográficos.

Conclusão principal: Avaliámos o Pangram 4 no conjunto de dados PERSUADE 2.0, composto por ensaios de alunos de diversas origens, e não detetámos quaisquer falsos positivos em nenhum dos 25 996 ensaios. Analisámos também os resultados por tipo de deficiência, género, ano de escolaridade, raça e etnia, estatuto de aluno a aprender inglês e situação de desvantagem económica. O Pangram não produziu quaisquer falsos positivos em nenhum dos subgrupos analisados.

A tabela abaixo descreve a forma como os investigadores definiram cada atributo demográfico no conjunto de dados PERSUADE e apresenta o número de ensaios representados em cada grupo.

Deficiência

No conjunto de dados PERSUADE 2.0, o estatuto de deficiência refere-se a alunos que têm um PEI ou um plano 504, podendo abranger alunos com uma vasta gama de dificuldades de aprendizagem ou problemas de saúde.

Género

No conjunto de dados PERSUADE, o género é autoidentificado, com uma divisão de aproximadamente 50/50 entre homens e mulheres. O Pangram não registou quaisquer falsos positivos em nenhum dos dois grupos de género.

Nível escolar

O Pangram 4 não registou quaisquer falsos positivos em nenhum dos níveis de ensino observados, o que demonstra a robustez do Pangram face a diversos níveis de proficiência na escrita.

Etnia

A maioria dos autores identificados na base de dados PERSUADE identificou-se como branca (45%), seguida dos hispânicos (25%) e, em seguida, dos negros (19%), o que reflete, de forma aproximada, a distribuição demográfica da população estudantil dos EUA.

Estatuto de aluno que está a aprender inglês (ELL)

Embora algumas investigações iniciais tivessem indicado que os programas de deteção de IA mais antigos poderiam ter demonstrado um viés contra o inglês como segunda língua e contra os alunos que estão a aprender inglês, o Pangram não demonstrou, essencialmente, qualquer viés contra estes autores e apresenta uma taxa de falsos positivos (FPR) observada de 0% nos alunos que estão a aprender inglês (ELL) no conjunto de dados PERSUADE.

Desvantagem económica

A desvantagem económica no corpus PERSUADE é definida como a elegibilidade dos alunos para determinados apoios federais, tais como a merenda escolar gratuita ou a preço reduzido e os Programas de Assistência Nutricional Suplementar.

Conclusão

Em todos os 25 996 ensaios escritos por humanos do corpus PERSUADE 2.0, o Pangram 4 não produziu nenhum falso positivo em nenhum dos subgrupos, incluindo situação de deficiência, género, nível escolar, etnia, estatuto de aluno a aprender inglês e situação de desfavorecimento económico. Este resultado indica que o Pangram se adapta bem a grupos diversos de autores, sem classificar erroneamente, de forma desproporcional, os trabalhos desses escritores como sendo gerados por IA.

O nosso objetivo é reduzir ao mínimo os falsos positivos em todos os grupos de autores, sendo importante uma avaliação contínua. No entanto, no âmbito do PERSUADE 2.0, o Pangram 4 apresenta zero falsos positivos em todos os subgrupos demográficos.

Referências

• Conjunto de dados PERSUADE — The Learning Agency Lab
• Artigo sobre o PERSUADE 1.0
• Artigo sobre o PERSUADE 2.0
• Corpus PERSUADE 2.0 no GitHub