Cómo recopilar pruebas para un caso de integridad académica relacionado con la IA

Nos gustaría dar las gracias a Marilyn Derby, directora adjunta de Apoyo Estudiantil y Asuntos Judiciales de la Universidad de California en Davis, por su contribución a las ideas de este artículo y por algunos de los recursos visuales utilizados en esta publicación. También nos gustaría dar las gracias a Amanda Clarke, directora del departamento de inglés de la Viewpoint School de California, por su excelente referencia sobre cómo distinguir las características de la escritura de los estudiantes frente a la escritura de la IA.

Quizás hayas recibido un ensayo y tengas la corazonada de que el texto no pertenece a un alumno de tu clase. Lo pasas por Pangram y este te devuelve un 99,9 % de confianza en que el texto ha sido generado por IA.

O tal vez usted es un responsable de integridad académica y un profesor denuncia el trabajo de un estudiante por plagio generado por IA, pero el estudiante y sus padres insisten rotundamente en que el estudiante lo ha escrito él mismo.

Lees el texto y tiene todos los signos reveladores de la escritura generada por IA. «En la era tecnológica actual», comienza el texto. El estudiante explica que un autor «entreteje los detalles de forma intrincada a través de un rico tapiz de perspectivas». El ensayo, gramaticalmente perfecto y con una estructura uniforme, termina con la clásica frase «En conclusión...» o tal vez «En general...».

En el fondo, sabes que tu alumno no ha escrito el trabajo, pero no puedes demostrarlo. Cuando las personas a las que intentas convencer dicen: «Los detectores de IA no funcionan y no son fiables» o «Es imposible saberlo con certeza», ¿qué haces?

Como hemos comentado anteriormente, una detección positiva por parte del IA es solo el comienzo de la conversación y nunca puede ser el único factor a tener en cuenta a la hora de considerar medidas punitivas contra un estudiante. Aunque confiamos en la precisión de nuestro producto, también creemos que se debe adoptar un enfoque holístico cuando hay mucho en juego y se deben recopilar más pruebas después de la puntuación de detección del IA para demostrar más allá de toda duda razonable que el trabajo de un estudiante no es auténtico o original.

Hoy hablaremos de siete estrategias para recopilar pruebas adicionales para este tipo de casos.

1. Acumular pruebas textuales más detalladas.

La escritura generada por IA nunca se «delata» por una frase o elección de palabras en particular: Pangram toma su decisión basándose en la acumulación de muchas señales débiles en el texto. Del mismo modo, se pueden buscar muchas de las señales presentes en el texto generado por IA y utilizarlas en su totalidad para demostrar que las señales de IA no podrían haber aparecido por casualidad. En primer lugar, debe buscar frases comunes de IA y ver si aparecen con frecuencia. En casos claros, la escritura generada por IA contiene tantas de estas frases que es muy difícil argumentar que se trata de una coincidencia, como en los ejemplos que se muestran a continuación.

Frases y palabras comunes relacionadas con la IA

Puedes consultar una lista completa de palabras y expresiones habituales relacionadas con la IA en la guía de Jenna Russell.

Pangram también puede extraer estas frases automáticamente, junto con su frecuencia. Es importante comprender que ninguna de estas frases por sí sola es prueba de que el texto haya sido generado por IA, pero muchas de estas frases en combinación constituyen una prueba muy sólida, ya que es muy improbable que todas ellas hayan aparecido por casualidad.

Ejemplo de análisis de frecuencia de frases con IA

Más allá del nivel de palabras y frases individuales, también se pueden buscar características de alto nivel de la escritura con IA.

Guía para distinguir entre textos escritos por estudiantes y textos generados por IA

Esta excelente guía de Amanda Clarke muestra algunas de las diferencias de estilo y tono que existen entre los escritos de los estudiantes y los generados por la IA. Para resumir la guía, algunos de los puntos más importantes son:

• A la escritura generada por IA no le gusta entrar en detalles concretos, y prefiere hablar en términos generales y vagos. Si lo hace, puede que invente esos detalles. Las reflexiones directas de los estudiantes sobre el trabajo y las citas textuales específicas son características de la escritura de los estudiantes que los chatbots de IA aún no pueden imitar.
• La escritura con IA no reflejará genuinamente un tema desde la perspectiva de un estudiante.
• La escritura con IA utiliza una gramática siempre perfecta y un tono fluido y neutro.

También cabe señalar que, cuando la escritura auténtica de un estudiante se mezcla con la generada por IA, a menudo se producen cambios bruscos en el tono y el estilo.

2. Recopilar pruebas del proceso.

Cuando un estudiante escribe un trabajo, lo hace como resultado de un proceso de redacción del documento: lluvia de ideas, esquema, borrador, revisión y corrección. Cuando se plagia un trabajo de una IA generativa, a menudo se limita a copiar y pegar.

Una forma sencilla de comprobar el proceso de redacción de un alumno es simplemente pedirle que muestre sus trabajos: pídale que le enseñe sus apuntes, sus ideas y sus esquemas. Si se trata de un borrador final, pídale que le enseñe el borrador preliminar. Muchas veces esto es suficiente para comprobar el proceso de redacción: los alumnos inocentes no tienen miedo de demostrarlo, y los alumnos que hacen trampa a menudo simplemente no pueden presentar estos trabajos.

También hay herramientas disponibles para comprobar el proceso de escritura del alumno. Por ejemplo, Draftback es una extensión de Chrome que se puede utilizar para reproducir el historial de escritura del alumno en Google Docs. También conocemos Brisk Teaching, Cursive Technologies y Visible AI. Cuando se utilizan en combinación con Pangram, pueden ser herramientas muy potentes.

Ejemplo de datos de repetición de Draftback

En el rastro de Draftback anterior, se puede ver dónde estaba editando el estudiante su redacción, o si hubo un gran copiado y pegado.

Las herramientas de proceso de escritura por sí solas no deben considerarse una prueba irrefutable. Sabiendo que los profesores ahora comprueban el historial de revisiones para verificar la integridad académica, los estudiantes son conscientes de que copiar y pegar les deja en una posición vulnerable. Algunos estudiantes simplemente transcriben los resultados de ChatGPT en su documento, haciendo que parezca que lo han escrito ellos mismos.

Peor aún, ahora existen herramientas de software que falsifican el historial de revisiones, como esta extensión de Chrome llamada «Human Auto Typer».

Ejemplo de una extensión de Chrome llamada «Human Auto Typer» (mecanógrafo humano).

Tenga en cuenta que, aunque examinar el proceso de redacción y el historial de revisiones de un alumno puede resultar útil, hoy en día existen formas de eludir estos sencillos controles.

3. Comprueba la validez de las citas.

La IA generativa suele inventar citas, citar erróneamente las fuentes y cometer otros errores a la hora de atribuir obras que son fáciles de detectar. Cuando los chatbots de IA no saben qué fuentes respaldan una afirmación que hacen, la mayoría de las veces se limitan a inventar una cita ficticia. Vea el ejemplo de Claude a continuación.

Ejemplo de Claude inventando citas

Los errores en las citas suelen ser algunas de las pruebas más convincentes en los casos de IA, ya que la falsificación intencionada de una fuente de investigación es en sí misma una violación de la integridad académica. A menudo basta con consultar la bibliografía o las obras citadas y comprobar si las entradas corresponden a artículos reales. Si se busca en Google el primer artículo y no es un artículo real, eso es una prueba increíblemente sólida de una violación.

Una vez más, hay que tener cuidado: las citas reales no indican con certeza que el estudiante no haya utilizado IA. Las nuevas herramientas, como Deep Research y Perplexity, citan fuentes correctas, y los chatbots están mejorando rápidamente para no generar fuentes falsas.

4. Validar que el alumno comprende su propia escritura.

Una de las formas más sencillas de comprobar si el trabajo de un alumno es original o falsificado es simplemente haciéndole preguntas sobre el trabajo. Si el nivel de redacción del trabajo presentado no coincide con el nivel de redacción del alumno, pregúntele sobre las partes más complejas del trabajo. A veces, en el caso de los alumnos más jóvenes, basta con preguntarles sobre el significado de una palabra complicada que ChatGPT utiliza a menudo y que los alumnos de ese nivel nunca utilizan (como «axiomático») para que el alumno admita que ha utilizado la IA.

En el ámbito universitario, donde se espera que los estudiantes aporten ideas novedosas y originales, es posible que desee preguntarles cómo se les ocurrió la idea. A menudo, esto puede dar lugar a un debate sobre el proceso de redacción, en el que se puede recopilar información sobre cómo se desarrolló la redacción, tal y como se describe en el punto 2.

Es importante mostrar empatía y crear un espacio seguro para el debate. Una conversación sobre integridad académica con los estudiantes puede ser muy estresante, y es posible que el estudiante se ponga a la defensiva cuando se le presenten las pruebas. La mejor manera de enfocar la conversación con el estudiante es simplemente llegar a un entendimiento significativo de lo que ha ocurrido, para que puedas hacer todo lo posible por ayudar al estudiante a tener éxito en el futuro. Dale al estudiante la oportunidad de corregir sus errores y explicar por qué tuvo que recurrir al uso de la IA en lugar de hacer la tarea él mismo. También animamos a ser abiertos con el hecho de que el uso de la IA puede haber sido el resultado de un malentendido y no un acto intencionado de mala conducta. Hemos escrito más sobre cómo mantener este tipo de conversaciones en una de nuestras entradas anteriores del blog.

5. Compare el trabajo con muestras anteriores del estudiante.

Especialmente aplicable a los estudiantes más jóvenes o en desarrollo, la escritura con IA suele estar muy por encima del nivel de escritura que cabría esperar de un estudiante.

Recomendamos consultar los trabajos escritos anteriormente por el estudiante. Las universidades suelen disponer de bases de datos centrales en las que se pueden consultar los ensayos de otras clases. Si el estudiante es nuevo para usted, no dude en pedir a su profesor anterior algunas muestras de sus trabajos escritos.

Un salto repentino en el nivel de escritura de un estudiante que escribe mal a uno que escribe con ortografía y gramática perfectas es motivo de preocupación.

6. Compara el trabajo con la respuesta de ChatGPT.

ChatGPT no suele presentar mucha variación en sus resultados. Cuando se pega la misma indicación dos veces en ChatGPT, no devuelve exactamente el mismo texto, pero a menudo presenta muchas similitudes que difícilmente pueden ser fruto de la casualidad.

Ejemplo de comparación lado a lado con ChatGPT

Con la función Side By Side de Pangram, puedes ver automáticamente la respuesta junto a la respuesta de ChatGPT. Aunque las frases no serán exactamente iguales, resaltamos y asociamos aquellas que tienen un significado muy similar entre sí.

Otra táctica consiste en generar múltiples respuestas de ChatGPT y observar la similitud. Si la respuesta no se puede distinguir fácilmente del resto, es probable que también se trate de IA.

Es útil conocer la tarea: de esa manera, puedes utilizarla directamente como indicaciones para ChatGPT. Pero si no conoces la tarea, aún puedes crear unas indicaciones razonables. Intenta pensar en unas indicaciones que sean lo suficientemente específicas como para producir un ensayo similar al que estás buscando, pero no tan específicas como para que sea exactamente igual al copiarlo. El uso de ChatGPT puede ser un recurso útil para ello: pega el ensayo en ChatGPT y pregunta cuáles son las ideas principales, los temas y las preguntas que aborda el trabajo, y prueba varias indicaciones para ver cuáles producen ensayos semánticamente similares, de modo que puedas comprobar si coinciden en cuanto al estilo.

7. Recopilar más opiniones

Según Russell et. al., una investigación de la Universidad de Maryland que ya hemos comentado anteriormente, los expertos pueden determinar con una precisión del 92,7 % si un texto ha sido generado por IA o no. Sin embargo, un consejo de 5 expertos, al analizar el voto mayoritario, puede alcanzar una precisión casi perfecta (en los 300 textos que estudiaron los investigadores, la mayoría fue perfectamente precisa al 100 %).

Le animamos a que forme a otras personas de su departamento o centro educativo sobre cómo detectar a simple vista los textos generados por IA, de modo que pueda obtener múltiples opiniones cuando se presenten casos difíciles. Hablar sobre algunas de las diferentes señales que cada persona percibe es una forma estupenda de ganar confianza a la hora de evaluar la autenticidad de un texto.

Además, como en todos los casos relacionados con el ámbito jurídico, las personas pueden tener prejuicios inconscientes o conscientes en su toma de decisiones por razones ajenas al control del estudiante. Recurrir a un panel compuesto por varias personas para determinar si un estudiante ha infringido la integridad académica no solo puede ayudarle a ser más preciso, sino que, en última instancia, también debería contribuir a que su proceso sea más justo.

La importancia de las pruebas adicionales en los casos relacionados con la IA

En esta entrada del blog, hemos analizado varias formas en las que puedes ir más allá de la puntuación y utilizar Pangram y otras herramientas para ayudarte a reunir pruebas para tu caso, ya sea por uso indebido de IA o para proteger a un estudiante acusado de hacer trampa con IA y que en realidad es inocente.

Ninguna prueba por sí sola es absolutamente infalible para determinar el resultado del caso, pero cuantas más pruebas se recopilen y acumulen, más justo y defendible será el proceso de integridad académica.