Cómo recabar pruebas para un caso de integridad académica relacionado con la IA

Nos gustaría dar las gracias a Marilyn Derby, directora adjunta de Apoyo al Estudiante y Asuntos Judiciales de la Universidad de California en Davis, por su contribución a las ideas expuestas en este artículo y por algunos de los recursos visuales utilizados en esta publicación. También queremos agradecer a Amanda Clarke, directora del departamento de inglés de la Viewpoint School de California, su excelente referencia sobre cómo distinguir las características de la redacción de los estudiantes frente a la redacción generada por IA.

Quizás hayas recibido un ensayo y tengas la corazonada de que el texto no es obra de un alumno de tu clase. Lo pasas por Pangram y el resultado indica un 99,9 % de certeza de que el texto ha sido generado por IA.

O tal vez seas responsable de integridad académica y un profesor denuncie el trabajo de un alumno por plagio generado por IA, pero tanto el alumno como sus padres insistan rotundamente en que lo ha escrito él mismo.

Al leer el texto, se aprecian todos los indicios característicos de un texto generado por IA. «En la era tecnológica actual», comienza el texto. El estudiante explica que un autor «entreteje los detalles de forma intrincada a través de un rico tapiz de perspectivas». El ensayo, gramaticalmente perfecto y con una estructura equilibrada, termina con la clásica frase «En conclusión...» o tal vez «En general...».

En el fondo sabes que tu alumno no ha escrito el trabajo, pero no hay forma de demostrarlo. Cuando las personas a las que intentas convencer te dicen: «Los detectores de IA no funcionan y no son fiables», o «Es imposible saberlo con certeza», ¿qué haces?

Como ya hemos comentado anteriormente, una detección positiva por parte de la IA es solo el punto de partida del proceso, y nunca debe ser el único criterio a la hora de plantearse la adopción de medidas disciplinarias contra un alumno. Aunque confiamos en la precisión de nuestro producto, también creemos que, cuando hay mucho en juego, se debe adoptar un enfoque integral y que es necesario recabar más pruebas tras la puntuación de detección de la IA para demostrar, más allá de toda duda razonable, que el trabajo de un alumno no es auténtico o original.

Hoy vamos a repasar siete estrategias para recabar pruebas adicionales en este tipo de casos.

1. Recopilar pruebas textuales más detalladas

Los textos generados por IA nunca se «delatan» por una frase concreta o por la elección de una palabra: Pangram toma su decisión basándose en la acumulación de numerosas señales débiles presentes en el texto. Del mismo modo, puedes buscar muchas de las señales presentes en un texto generado por IA y utilizarlas en su conjunto para demostrar que dichas señales no podrían haber surgido por casualidad. En primer lugar, debes buscar frases comunes de la IA y ver si aparecen con frecuencia. En casos claros, el texto generado por IA contiene tantas de estas frases que resulta muy difícil argumentar que se trate de una coincidencia, como en los ejemplos que se muestran a continuación.

Términos y expresiones habituales en el ámbito de la IA

Puedes consultar una lista completa de términos y estructuras sintácticas habituales en el ámbito de la IA en la guía de Jenna Russell.

Pangram también puede extraer estas frases automáticamente, junto con su frecuencia de aparición. Es importante comprender que ninguna de estas frases por sí sola constituye una prueba de que el texto haya sido generado por IA, pero la presencia de muchas de ellas en conjunto constituye una prueba muy sólida, ya que resulta extremadamente improbable que todas ellas hayan aparecido por casualidad.

Ejemplo de análisis de frecuencia de frases mediante IA

Más allá del nivel de las palabras y frases concretas, también puedes fijarte en las características generales de la redacción generada por IA.

Guía para distinguir entre la redacción de un estudiante y la de una IA

Esta excelente guía de Amanda Clarke muestra algunas de las diferencias de estilo y tono que existen entre los textos escritos por estudiantes y los generados por IA. A modo de resumen de la guía, estos son algunos de los puntos más importantes:

• A la escritura generada por IA no le gusta entrar en detalles concretos, sino que prefiere expresarse en términos generales y vagos. Si lo hace, es posible que esos detalles sean fruto de su imaginación. Las reflexiones directas de los alumnos sobre el trabajo y las citas textuales concretas son características de la escritura de los alumnos que los chatbots de IA aún no pueden imitar.
• La redacción generada por IA no reflejará de forma auténtica un tema desde la perspectiva de un estudiante.
• La redacción generada por IA utiliza una gramática siempre impecable y un estilo fluido y neutral.

También cabe señalar que, cuando el texto escrito por un alumno se mezcla con texto generado por IA, a menudo pueden producirse cambios bruscos de tono y estilo.

2. Recopilar pruebas del proceso

Cuando un estudiante redacta un trabajo, este es el resultado de un proceso de elaboración del documento: lluvia de ideas, elaboración del esquema, redacción del borrador, revisión y corrección. Cuando se plagia un trabajo utilizando IA generativa, a menudo se limita a copiar y pegar.

Una forma sencilla de comprobar el proceso de redacción de un alumno es, sencillamente, pedirle que te muestre sus materiales: pídele sus apuntes, sus lluvias de ideas y sus esquemas. Si se trata de un borrador final, pídele que te enseñe su borrador preliminar. Muchas veces, esto basta para comprobar el proceso de redacción: los alumnos honestos no tienen miedo de demostrarlo, mientras que los que copian a menudo simplemente no pueden presentar esos materiales.

También existen herramientas para supervisar el proceso de redacción de los alumnos. Por ejemplo, Draftback es una extensión de Chrome que permite revisar el historial de redacción de los alumnos en Google Docs. También conocemos Brisk Teaching, Cursive Technologies y Visible AI. Si se utilizan junto con Pangram, pueden resultar herramientas muy eficaces.

Ejemplo de datos de repetición de Draftback

En el historial de Draftback anterior, se puede ver dónde estaba editando el alumno su texto, o si se trataba de un único copiar y pegar.

Las herramientas de procesamiento de texto no deben considerarse, por sí solas, una prueba irrefutable. Sabiendo que los profesores ahora revisan el historial de modificaciones para comprobar la integridad académica, los estudiantes son conscientes de que copiar y pegar les deja en una situación vulnerable. Algunos estudiantes se limitan a transcribir los resultados de ChatGPT en su documento, dando a entender que lo han escrito ellos mismos.

Lo que es peor, ahora existen herramientas de software que falsifican el historial de revisiones, como esta extensión de Chrome llamada «Human Auto Typer».

Ejemplo de una extensión de Chrome llamada «Human Auto Typer»

Hay que tener en cuenta que, aunque examinar el proceso de redacción y el historial de revisiones de un alumno puede resultar útil, hoy en día existen formas de eludir estos sencillos controles.

3. Comprueba la validez de las citas

La IA generativa suele inventarse citas, citar erróneamente las fuentes y cometer otros errores a la hora de atribuir el trabajo, que son fáciles de detectar. Cuando los chatbots de IA no saben qué fuentes respaldan una afirmación que hacen, la mayoría de las veces se limitan a inventarse una cita ficticia. Véase el ejemplo de Claude a continuación.

Ejemplo de cómo Claude inventa citas

Los errores en las citas suelen ser algunas de las pruebas más contundentes en los casos de falta de integridad académica, ya que la falsificación intencionada de una fuente de investigación constituye en sí misma una violación de la integridad académica. A menudo basta con consultar la bibliografía o la lista de obras citadas y comprobar si las entradas corresponden a artículos reales. Si se busca en Google el primer artículo y resulta que no es real, eso constituye una prueba muy sólida de que se ha cometido una infracción.

Una vez más, hay que tener cuidado: el hecho de que haya citas reales no garantiza que el estudiante no haya utilizado la IA. Las nuevas herramientas, como Deep Research y Perplexity, citan fuentes correctas, y los chatbots están mejorando rápidamente para no generar fuentes falsas.

4. Comprueba que el alumno comprenda lo que ha escrito

Una de las formas más sencillas de comprobar si el trabajo de un alumno es original o ha sido falsificado es simplemente hacerle preguntas sobre el trabajo. Si el nivel de redacción del trabajo no se corresponde con el nivel del alumno, pregúntale sobre las partes más complejas del texto. A veces, en el caso de los estudiantes más jóvenes, basta con preguntarles por el significado de una palabra complicada que ChatGPT utiliza a menudo y que los estudiantes de ese nivel nunca usan (como «axiomático») para que el estudiante admita que ha utilizado IA.

En el ámbito universitario, donde se espera que los estudiantes aporten ideas novedosas y originales, tal vez le interese preguntarles cómo se les ocurrió la idea. A menudo, esto puede dar pie a un debate sobre el proceso de redacción, en el que podrá recabar información sobre cómo se desarrolló el texto, tal y como describimos en el punto 2.

Es importante mostrar empatía y crear un espacio seguro para el diálogo. Una conversación sobre la integridad académica con los alumnos puede resultar muy estresante, y es posible que el alumno adopte una actitud defensiva cuando se le presenten las pruebas. La mejor manera de enfocar la conversación con el alumno es, sencillamente, llegar a un entendimiento claro de lo que ha ocurrido, de modo que puedas hacer todo lo posible para ayudarle a tener éxito en el futuro. Dale al estudiante la oportunidad de corregir sus errores y explicar por qué tuvo que recurrir al uso de la IA en lugar de hacer el trabajo por sí mismo. También animamos a tener una actitud abierta ante el hecho de que el uso de la IA puede haber sido el resultado de un malentendido y no de un acto intencionado de mala fe. Hemos escrito más sobre cómo mantener este tipo de conversaciones en una de nuestras entradas anteriores del blog.

5. Comparar el trabajo con muestras anteriores del alumno

Especialmente en el caso de los alumnos más jóvenes o en fase de aprendizaje, la redacción generada por IA suele superar con creces el nivel que cabría esperar de la redacción de un alumno.

Recomendamos consultar los trabajos escritos anteriormente por el alumno. Las universidades suelen disponer de bases de datos centrales en las que se pueden consultar los trabajos de otras asignaturas. Si es la primera vez que tiene al alumno, no dude en pedirle a su profesor anterior algunas muestras de sus trabajos escritos.

Un cambio repentino en el nivel de redacción, pasando de un alumno que escribe mal a uno que escribe con una ortografía y una gramática impecables, es motivo de preocupación.

6. Compara el trabajo con la respuesta de ChatGPT

Las respuestas de ChatGPT no suelen presentar grandes variaciones. Si introduces dos veces la misma pregunta en ChatGPT, no obtendrás exactamente el mismo texto, pero a menudo habrá muchas similitudes que difícilmente pueden deberse a la casualidad.

Ejemplo de comparación lado a lado con ChatGPT

Con la función «Side By Side» de Pangram, puedes ver automáticamente la respuesta de ChatGPT junto a la tuya. Aunque las frases no serán exactamente iguales, resaltamos y relacionamos aquellas que tienen un significado muy similar entre sí.

Otra táctica consiste en generar varias respuestas con ChatGPT y analizar su similitud. Si la respuesta no se distingue fácilmente del resto, es probable que también sea obra de la IA.

Es útil conocer el tema del trabajo: así podrás utilizarlo directamente como indicación para ChatGPT. Pero si no conoces el tema, aún así puedes elaborar una indicación razonable. Intenta pensar en una indicación lo suficientemente específica como para que genere un ensayo similar al que tienes delante, pero no tan específica como para que resulte exactamente igual por simple copia. El propio ChatGPT puede ser un recurso útil para esto: pega el ensayo en ChatGPT y pregunta cuáles son las ideas principales, los temas y las cuestiones que aborda el trabajo, y prueba varias indicaciones para ver cuáles producen ensayos semánticamente similares, de modo que puedas comprobar si coinciden estilísticamente.

7. Recaba más opiniones

Según Russell et al., en un estudio de la Universidad de Maryland del que ya hemos hablado anteriormente, los expertos pueden alcanzar una precisión del 92,7 % a la hora de determinar si un texto ha sido generado por IA o no. Sin embargo, un grupo de cinco expertos, si se tiene en cuenta el voto mayoritario, puede alcanzar una precisión casi perfecta (en los 300 textos que estudiaron los investigadores, la mayoría acertó al 100 %).

Te animamos a que formes a otras personas de tu departamento o centro educativo para que aprendan a detectar a simple vista los textos generados por IA, de modo que puedas contar con varias opiniones cuando surjan casos difíciles. Analizar las diferentes señales que detecta cada evaluador es una forma excelente de ganar confianza a la hora de valorar la autenticidad de un texto.

Además, al igual que en todos los casos relacionados con el ámbito jurídico, las personas pueden tener sesgos, ya sean inconscientes o conscientes, a la hora de tomar decisiones por motivos ajenos al control del estudiante. Recurrir a un grupo de varias personas para determinar si un estudiante ha infringido o no la integridad académica no solo puede ayudarte a ser más preciso, sino que, en última instancia, también debería contribuir a que tu proceso sea más justo.

La importancia de las pruebas complementarias en los casos de IA

En esta entrada del blog, hemos analizado varias formas en las que puedes ir más allá de la puntuación y utilizar Pangram y otras herramientas para recabar pruebas que respalden tu argumento, ya sea para demostrar un uso indebido de la IA o para defender a un estudiante acusado de hacer trampa con la IA y que, en realidad, es inocente.

Ninguna prueba por sí sola es totalmente infalible a la hora de determinar el resultado del caso, pero cuantas más pruebas se recojan y acumulen, más justo y defendible será el proceso de integridad académica.