El estado de la integridad académica y la detección de IA en 2025

Bradley Emi, director técnico de Pangram Labs, impartió una sesión sobre el estado de la detección de IA en la conferencia ICAI.

Los estudiantes están utilizando y abusando de ChatGPT. La mayoría de los estudiantes utilizan herramientas de IA con regularidad y creen que su rendimiento mejorará con estas herramientas. Incluso con políticas claras contra el uso de la IA, es probable que los estudiantes continúen utilizándola.

Contrariamente a la creencia popular: la IA puede detectarse. El lenguaje, el estilo y las elecciones semánticas pueden ser discernidos tanto por humanos como por software automatizado (con suficiente entrenamiento).

¿Por qué suena así la IA?

Los LLM son distribuciones de probabilidad que aprenden a partir de grandes cantidades de datos. NO son el promedio de todos los escritos humanos. Esto se debe a la forma en que se entrenan los modelos.

Los modelos se entrenan en tres etapas: preentrenamiento, ajuste de instrucciones y alineación.

En la fase de preentrenamiento, el modelo analiza patrones estadísticos a partir de un gran conjunto de datos. El conjunto de datos de entrenamiento contiene sesgos que se reflejan en los patrones estadísticos. Por ejemplo, los datos que aparecen con frecuencia en Internet están sobrerrepresentados. En un artículo de The Guardian, Alex Hern explica cómo se explotó a trabajadores de Kenia y Nigeria para proporcionar datos de entrenamiento a OpenAI. Las palabras que estos trabajadores utilizaban con frecuencia, como «delve» y «tapestry», son las mismas que aparecen con frecuencia en los textos generados por la IA.

En el ajuste de instrucciones, el modelo se entrena para responder a indicaciones. El modelo aprende que es mejor seguir instrucciones que presentar información precisa y correcta. Incluso cuando se implementan filtros de seguridad, la desinformación sigue afectando a la escritura de la IA, ya que esta intenta complacer al usuario.

Durante la alineación, el modelo aprende la diferencia entre las respuestas adecuadas e inadecuadas a las indicaciones. Los datos sobre preferencias pueden ser extremadamente sesgados, ya que se basan en los puntos de vista del formador, no necesariamente en hechos.

Hemos proporcionado una muestra de las palabras y frases más comunes utilizadas en la redacción con IA. Estas provienen de sesgos introducidos en la etapa de preentrenamiento.

La IA es conocida por su lenguaje y formato altamente estructurados. Las frases de transición, las listas con viñetas y la redacción ordenada son frecuentes en los textos generados por IA debido a la fase de alineación.

La escritura de la IA suele ser formal porque los textos formales están sobrerrepresentados en Internet y, por lo tanto, también lo están en los conjuntos de datos de entrenamiento de la IA. La positividad y la utilidad se refuerzan durante la alineación.

Nota: Pangram no predice el uso de IA solo porque un texto contenga lenguaje y formato comunes de IA.

Humanizadores en el ámbito académico

Estudiamos 19 herramientas humanizadoras diferentes y creamos una propia. Descubrimos que las herramientas humanizadoras de IA conservan el significado original en distintos grados (desde ligeras modificaciones hasta textos ininteligibles). Algunas herramientas humanizadoras hacen un buen trabajo de parafraseo, pero no evaden la detección. Cuanto más fluido es el texto humanizado, menos probable es que evada la detección. Los humanizadores son capaces de eliminar la marca de agua SynthID de Google (que se utiliza para marcar el texto generado por Gemini).

Detección automatizada y humana de IA

La primera generación de herramientas de detección de IA y sus defectos han moldeado la opinión del público en general sobre la detección de IA. Estas herramientas se basaban en correlaciones con el uso de IA en lugar de señales causales. Afirmaban tener una precisión del 99 %, lo cual es inadecuado para uso académico.

Esta nueva generación de herramientas de detección cuenta con una precisión superior al 99,9 % y unas tasas de falsos positivos (FPR) muy bajas. Además, son resistentes a los parafrasificadores y humanizadores.

Sin embargo, ¡los detectores de IA no son todos iguales! Existen distintos grados de precisión debido a las diferentes formas en que se entrenan los detectores.

Pangram, TurnItIn y Ghostbusters utilizan la detección basada en el aprendizaje. En la detección basada en el aprendizaje, el modelo se entrena aprendiendo qué es y qué no es generado por IA a partir de una gran muestra. Mientras que el

Los expertos humanos con experiencia en el uso de LLM para tareas de redacción pueden detectar la IA con una precisión del 92 %. Los lingüistas no pudieron alcanzar el mismo nivel de precisión sin experiencia en el uso de herramientas como ChatGPT. Los detectores humanos pueden explicar por qué eligieron una predicción específica con respecto al texto. Aunque Pangram tiene una mayor precisión y tasas de falsos positivos, no es capaz de contextualizar el texto.

Creación de un proceso académico justo para la integridad en la IA

Al crear políticas o normas relativas al uso de la IA, la comunicación debe ser clara. La IA puede utilizarse para redactar esquemas, generar ideas, corregir errores gramaticales, investigar, redactar borradores o realizar tareas de redacción sustanciales. Deben implementarse directrices sobre los grados de uso de la IA que están permitidos y los que no lo están.

Los estudiantes y profesores deben comprender cómo están evolucionando las herramientas comunes con la IA. La función «Ayúdame a escribir» de Google Docs obtiene sus resultados de Gemini. Grammarly incluye actualmente la generación y la paráfrasis mediante IA. Es posible que las herramientas de traducción utilicen LLM para funcionar. Tomar secciones de investigaciones generadas por IA o de lluvias de ideas también activa la detección.

Recomendamos utilizar tanto el razonamiento humano como la detección automatizada. Es increíblemente injusto para el estudiante utilizar exclusivamente la detección por IA para evaluar su trabajo debido al 0,01 % de FPR. Tras recibir una predicción positiva, los siguientes pasos serían evaluar el proceso de redacción del estudiante y comparar el texto positivo con sus trabajos anteriores. Asegúrese de probar el detector con varios textos y de tener en cuenta los resultados que podría obtener al utilizar un LLM para la tarea.

Si cada vez está más claro que un estudiante ha entregado un trabajo escrito por IA, este puede ser un momento propicio para enseñar. Es importante tratar a los estudiantes con respeto y evitar ser demasiado punitivos. Los estudiantes pueden beneficiarse de rehacer el trabajo y mantener una conversación sobre lo que les llevó a utilizar la IA.

Para obtener más información sobre este artículo, consulte el seminario web completo: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.