O desempenho do Pangram em ensaios de estudantes de licenciatura e de pós-graduação

Já tínhamos avaliado o Pangram no corpus PERSUADE, um conjunto de cerca de 26 000 ensaios de um grupo diversificado de alunos do ensino básico e secundário. Nesta avaliação, alargamos essa análise, comparando o desempenho do Pangram 4.1 com um conjunto de textos escritos por estudantes de licenciatura e de pós-graduação e, em particular, com textos de estudantes de pós-graduação cuja língua materna não é o inglês.

Para este teste de desempenho, utilizamos o Pangram 4.1 para analisar 9 corpora compostos por 15 420 documentos escritos por estudantes de licenciatura e de pós-graduação que falam inglês como língua adicional. Os documentos foram redigidos e recolhidos em universidades de 16 países, distribuídos por 3 continentes, e incluem textos de 51 grupos linguísticos de língua materna, incluindo mandarim, árabe, japonês, espanhol e russo.

Desempenho

No total, esta avaliação consistiu em 9,5 milhões de palavras, sendo que o documento mais longo continha 10 916 palavras e o mais curto, 52 palavras.

O Pangram 4.1 não registou quaisquer falsos positivos em nenhum dos 9 conjuntos de dados.

Todos os conjuntos de dados continham informações sobre a língua materna do autor e muitos incluíam também informações sobre o tipo de trabalho, turma, ano ou curso — esses detalhes estão resumidos por corpus abaixo.

Detalhes do conjunto de dados

Para esta análise, avaliamos o Pangram 4.1 numa seleção de ensaios de estudantes universitários provenientes de vários conjuntos de dados externos, redigidos por pessoas, anteriores a 2022. A língua materna é por vezes designada por L1.

• ArCC: Um conjunto de 779 ensaios argumentativos e reflexivos escritos em inglês por estudantes de licenciatura e mestrado cuja língua materna é o árabe. Os textos tinham entre 53 e 889 palavras.
• O Corpus Interlinguístico de Inglês Reformado de Nagoya (NICER), elaborado por investigadores da Universidade de Nagoya, é uma coleção de 381 ensaios de uma hora, realizados sob supervisão e redigidos em inglês por estudantes universitários de língua japonesa.
• O Corpus CELL (Chinese and English Learner Language) é uma coleção de 2 850 ensaios escritos por estudantes de licenciatura da Universidade Aberta de Hong Kong. As línguas maternas incluem o cantonês e o putonghua, entre outras. Estes ensaios resultaram de trabalhos académicos realizados em casa e variam entre 91 e 5 929 palavras, com uma média de 1 307 palavras.
• O Corpus de Escritores Turcos de Inglês de Licenciatura (TUWE) é uma coleção de 341 ensaios persuasivos com um número de palavras que varia entre 356 e 1 312, com uma extensão média de 778 palavras. Os ensaios foram escritos em inglês por estudantes cuja língua materna é o turco, na Universidade de Erciyes.
• O Corpus Zayed de Licenciatura Bilingue Árabe-Inglês (ZAEBUC) é uma coleção de ensaios curtos escritos por estudantes da Universidade Zayed, nos Emirados Árabes Unidos. Os investigadores recolheram este conjunto de dados entre agosto e setembro de 2019. Acima, apresentamos os resultados relativos ao subconjunto em inglês, composto por 383 ensaios com uma média de 228 palavras, cujos níveis do Quadro Europeu Comum de Referência (QECR) variam entre A1 e C1. Além disso, executámos o Pangram no subconjunto em árabe, composto por 215 ensaios, perfazendo um total de 603 ensaios escritos por 397 estudantes. O Pangram 4.1 não registou quaisquer falsos positivos em nenhum dos subconjuntos.
• O Corpus Sul-Africano de Textos Académicos de Alunos Multilingues (SAMuLCAT) é uma coleção de textos escritos por estudantes universitários sul-africanos, elaborados como trabalhos para fazer em casa com a ajuda de corretores ortográficos e dicionários. Os géneros incluem ensaios argumentativos ou persuasivos, discussões e textos narrativos. Os ensaios variam entre 52 e 5 233 palavras, com uma média de 687 palavras. As L1 dos autores deste subconjunto incluem o sesotho, o isiZulu, o setswana, o isiXhosa e outras. Acima, apresentamos os nossos resultados relativos ao subconjunto em inglês, composto por 4 839 exemplos; além disso, analisámos 579 ensaios cuja L1 era o inglês, perfazendo um total de 5 660 ensaios. Não detetámos quaisquer falsos positivos em nenhum dos subconjuntos.
• O Michigan Corpus of Upper-level Student Papers (MICUSP) é uma coleção de 829 trabalhos de alto desempenho — que receberam uma classificação de A ou A- — escritos por estudantes do último ano de licenciatura e de pós-graduação da Universidade de Michigan, com uma média de 3 157 palavras. Destes trabalhos, 148 foram escritos por estudantes cuja língua materna não é o inglês: 38 trabalhos de licenciatura e 110 de pós-graduação. As L1 deste subconjunto incluem mandarim, coreano, espanhol, russo, hindi e outras, e os trabalhos abrangem 16 disciplinas, incluindo cursos de psicologia, sociologia, engenharia, biologia e ciências humanas. Apresentamos aqui o subconjunto de L1 que não é o inglês; no entanto, executámos adicionalmente o Pangram 4.1 nos 681 trabalhos cuja L1 era o inglês e não encontrámos falsos positivos em nenhum dos subconjuntos.
• O conjunto de dados da USask é uma coleção de 141 revisões de literatura elaboradas por estudantes de pós-graduação, escritas por 51 estudantes de inglês como segunda língua (L2) matriculados em várias universidades canadianas, com um nível de proficiência que varia entre 6,5 e 8,5 no International English Language Testing System (IELTS). Os estudantes estavam matriculados em cursos que incluíam linguística, educação e ciências políticas. As revisões variaram entre 264 e 4 391 palavras, com uma média de 1 028 palavras.

Foi também apresentado um conjunto de dados no Relatório Técnico do Pangram 4, que aqui reproduzimos para o Pangram 4.1.

• A Rede Internacional de Corpus de Alunos Asiáticos de Inglês (ICNALE) divulgou um módulo de redações escritas (WE) do seu conjunto de dados, composto por 5 593 redações cronometradas escritas em inglês. O ICNALE WE não regista dados relativos à língua materna, mas inclui textos escritos em inglês por estudantes universitários de 10 países asiáticos, incluindo a China, Hong Kong, a Indonésia, o Japão e a Coreia.

Devido à vasta seleção de ensaios, este índice de referência inclui uma variedade de tipos de trabalhos, desde ensaios para fazer em casa até ensaios cronometrados; níveis de assistência, desde assistência sem restrições até exames supervisionados; níveis de proficiência em inglês; e cursos de licenciatura.

Metodologia

Procurei conjuntos de dados de investigação que cumprissem os seguintes critérios:

• Coleções de textos escritos por estudantes de licenciatura ou de pós-graduação; excluindo conjuntos de dados elaborados por candidatos a admissão, estudantes não matriculados em cursos de licenciatura ou alunos do ensino secundário, bem como ensaios de candidatura a instituições de ensino superior
• Inclui metadados relativos ao estatuto de falante nativo (L1) ou de aluno a aprender inglês, ou especificados de outra forma (por exemplo, se todo o conjunto de dados fosse proveniente de um único grupo de falantes nativos)
• Composto principalmente por ensaios, relatórios, respostas extensas, revisões de literatura, teses, escrita criativa, etc.; excluindo conjuntos de dados que contenham exclusivamente respostas curtas
• Que contenha, pelo menos, 100 documentos com um número mediano de palavras superior a 175 palavras

Eliminando duplicados, removi todos os itens com menos de 50 palavras. Fora isso, o pré-processamento dos itens foi mínimo. Optei por analisar cada texto duas vezes com o Pangram 4.1: uma vez sem as páginas preliminares e as referências e outra vez com elas incluídas, e verifiquei que o resultado se manteve inalterado. Também analisei os mesmos 15 420 textos com o nosso modelo anterior, o Pangram 4, que também não registou quaisquer falsos positivos.

Como sempre, utilizamos uma definição rigorosa de falso positivo: consideramos um documento como falso positivo se algum segmento for assinalado como «IA» ou «assistido por IA».

O Pangram 4.1 não foi treinado nem calibrado com base nestes documentos, pelo que isto constitui um teste imparcial ao desempenho do Pangram em textos inéditos escritos por estudantes universitários.

No decurso desta avaliação, analisámos adicionalmente 1 743 textos que não foram incluídos nos resultados principais por não cumprirem determinados critérios (normalmente excluídos por terem sido escritos por um autor cuja língua materna é o inglês) e não detetámos nenhum falso positivo nesses textos.