El rendimiento de Pangram en los ensayos de estudiantes de grado y posgrado

Anteriormente, hemos evaluado Pangram en el corpus PERSUADE, un conjunto de casi 26 000 redacciones elaboradas por un grupo diverso de alumnos de secundaria y bachillerato. En esta evaluación, ampliamos ese análisis y comparamos el rendimiento de Pangram 4.1 con un conjunto de textos escritos por estudiantes universitarios y de posgrado, y en particular con los de aquellos estudiantes de posgrado cuya lengua materna no es el inglés.

Para esta prueba de rendimiento, utilizamos Pangram 4.1 para analizar 9 corpus compuestos por 15.420 documentos redactados por estudiantes universitarios y de posgrado para quienes el inglés es una lengua adicional. Los documentos se redactaron y recopilaron en universidades de 16 países repartidos por 3 continentes, e incluyen textos de 51 grupos lingüísticos de lengua materna, entre los que se encuentran el mandarín, el árabe, el japonés, el español y el ruso.

Rendimiento

En total, esta evaluación abarcó 9,5 millones de palabras; el documento más largo contenía 10 916 palabras y el más corto, 52.

Pangram 4.1 no registró ningún falso positivo en los nueve conjuntos de datos.

Todos los conjuntos de datos incluían información sobre la lengua materna del autor, y muchos de ellos también contenían datos sobre el tipo de trabajo, la asignatura, el curso o el programa de estudios; a continuación se resumen esos detalles por corpus.

Detalles del conjunto de datos

Para este análisis, evaluamos Pangram 4.1 con una selección de redacciones de estudiantes universitarios procedentes de varios conjuntos de datos externos, redactados por personas y anteriores a 2022. La lengua materna se denomina a veces L1.

• ArCC: Una recopilación de 779 ensayos argumentativos y reflexivos escritos en inglés por estudiantes de grado y máster cuya lengua materna es el árabe. Los textos tenían una extensión de entre 53 y 889 palabras.
• El Corpus Interlingüístico de Inglés Reformado de Nagoya (NICER), elaborado por investigadores de la Universidad de Nagoya, es una recopilación de 381 redacciones de una hora de duración, realizadas bajo supervisión y escritas en inglés por estudiantes universitarios de habla japonesa.
• El corpus «Chinese and English Learner Language» (CELL) es una recopilación de 2.850 redacciones escritas por estudiantes universitarios de la Universidad Abierta de Hong Kong. Entre sus lenguas maternas se encuentran el cantonés y el putonghua, entre otras. Estas redacciones forman parte de los trabajos académicos realizados en casa y tienen una extensión que oscila entre las 91 y las 5.929 palabras, con una media de 1.307 palabras.
• El Corpus de Escritores Turcos de Inglés de Grado (TUWE) es una recopilación de 341 ensayos persuasivos que oscilan entre las 356 y las 1.312 palabras, con una extensión media de 778 palabras. Los ensayos fueron redactados en inglés por estudiantes de lengua materna turca de la Universidad de Erciyes.
• El Corpus Bilingüe Árabe-Inglés de Grado Zayed (ZAEBUC) es una recopilación de ensayos breves escritos por estudiantes de la Universidad Zayed, en los Emiratos Árabes Unidos. Los investigadores recopilaron este conjunto de datos entre agosto y septiembre de 2019. Anteriormente, presentamos los resultados del subconjunto en inglés, compuesto por 383 ensayos con una media de 228 palabras, cuyos niveles según el Marco Común Europeo de Referencia (MCER) oscilan entre A1 y C1. Además, ejecutamos Pangram en el subconjunto en árabe, compuesto por 215 ensayos, lo que suma un total de 603 ensayos escritos por 397 estudiantes. Pangram 4.1 no registró ningún falso positivo en ninguno de los dos subconjuntos.
• El Corpus Sudafricano de Textos Académicos de Estudiantes Multilingües (SAMuLCAT) es una recopilación de textos escritos por estudiantes universitarios sudafricanos, realizados como trabajos para casa con la ayuda de correctores ortográficos y diccionarios. Los géneros incluyen ensayos argumentativos o persuasivos, debates y textos narrativos. Los ensayos tienen una extensión que oscila entre las 52 y las 5.233 palabras, con una media de 687 palabras. Las lenguas maternas (L1) de los autores de este subconjunto incluyen el sesotho, el isiZulu, el setswana, el isiXhosa y otras. Anteriormente, hemos presentado nuestros resultados sobre el subconjunto en inglés, compuesto por 4.839 ejemplos; además, hemos analizado 579 ensayos cuya lengua materna es el inglés, lo que suma un total de 5.660 ensayos. No se han detectado falsos positivos en ninguno de los dos subconjuntos.
• El Corpus de Trabajos Académicos de Estudiantes de Nivel Superior de Míchigan (MICUSP) es una recopilación de 829 trabajos de alto rendimiento —que obtuvieron una calificación de A o A— redactados por estudiantes de último curso de grado y de posgrado de la Universidad de Míchigan, con una media de 3.157 palabras. De estos trabajos, 148 fueron redactados por estudiantes cuyo inglés no es su lengua materna: 38 de grado y 110 de posgrado. Las lenguas maternas (L1) de este subconjunto incluyen el mandarín, el coreano, el español, el ruso, el hindi y otras, y los trabajos abarcan 16 materias, entre las que se incluyen cursos de psicología, sociología, ingeniería, biología y humanidades. Presentamos aquí el subconjunto de estudiantes cuya lengua materna no es el inglés; sin embargo, también ejecutamos Pangram 4.1 en los 681 trabajos de estudiantes cuya lengua materna es el inglés y no encontramos falsos positivos en ninguno de los dos subconjuntos.
• El conjunto de datos de la USask es una recopilación de 141 revisiones bibliográficas de estudiantes de posgrado, redactadas por 51 estudiantes de inglés como segunda lengua matriculados en diversas universidades canadienses, con un nivel de competencia que oscila entre 6,5 y 8,5 en el Sistema Internacional de Evaluación del Idioma Inglés (IELTS). Los estudiantes estaban matriculados en programas como lingüística, educación y ciencias políticas. Las revisiones tenían una extensión que oscilaba entre 264 y 4.391 palabras, con una media de 1.028 palabras.

En el Informe técnico de Pangram 4 también se incluyó un conjunto de datos, que reproducimos aquí para Pangram 4.1.

• La Red Internacional de Corpus de Estudiantes Asiáticos de Inglés (ICNALE) ha publicado un módulo de redacciones escritas (WE) de su conjunto de datos, compuesto por 5.593 redacciones escritas en inglés con límite de tiempo. El módulo ICNALE WE no recoge datos sobre la lengua materna, pero incluye textos escritos en inglés por estudiantes universitarios de 10 países asiáticos, entre los que se encuentran China, Hong Kong, Indonesia, Japón y Corea.

Debido a la amplia selección de redacciones, este punto de referencia incluye diversos tipos de trabajos, desde redacciones para realizar en casa hasta redacciones cronometradas; distintos niveles de asistencia, desde la asistencia sin restricciones hasta los exámenes supervisados; distintos niveles de dominio del inglés; y distintos programas de grado.

Metodología

Busqué conjuntos de datos de investigación que cumplieran los siguientes criterios:

• Recopilaciones de textos escritos por estudiantes de grado o de posgrado; se excluyen los conjuntos de datos elaborados por futuros estudiantes, estudiantes sin titulación o alumnos de secundaria, así como los ensayos de solicitud de admisión a la universidad.
• Incluye metadatos relativos a la lengua materna (L1) o a la condición de estudiante de inglés, o se especifica lo contrario (por ejemplo, si todo el conjunto de datos procediera de un único grupo de lengua materna).
• Compuesto principalmente por ensayos, informes, respuestas extensas, revisiones bibliográficas, tesis, escritura creativa, etc.; excluyendo conjuntos de datos que contengan exclusivamente respuestas breves.
• Que contenga al menos 100 documentos con una mediana del número de palabras superior a 175 palabras

He eliminado los documentos duplicados y he descartado todos aquellos que tuvieran menos de 50 palabras. Por lo demás, el preprocesamiento de los textos ha sido mínimo. Decidí analizar cada texto dos veces con Pangram 4.1: una vez sin las páginas preliminares ni las referencias, y otra vez incluyéndolas, y comprobé que el resultado era el mismo. También analicé los mismos 15 420 textos con nuestro modelo anterior, Pangram 4, que tampoco dio ningún falso positivo.

Como siempre, utilizamos una definición estricta de «falso positivo»: consideramos que un documento es un falso positivo si algún segmento aparece marcado como «IA» o «asistido por IA».

Pangram 4.1 no se entrenó ni se calibró con estos documentos, por lo que esto sirve como una prueba imparcial del rendimiento de Pangram con textos desconocidos escritos por estudiantes universitarios.

En el transcurso de esta evaluación, analizamos además 1.743 textos que no se incluyeron en los resultados principales porque no cumplían determinados criterios (normalmente se excluían por haber sido escritos por un autor cuya lengua materna era el inglés) y no encontramos ningún falso positivo entre ellos.