El estado de la integridad académica y la detección mediante IA en 2025

Bradley Emi, director técnico de Pangram Labs, impartió una sesión sobre el estado actual de la detección mediante IA en la conferencia del ICAI.

Los estudiantes utilizan y abusan de ChatGPT. La mayoría de ellos recurre a las herramientas de IA con regularidad y cree que su rendimiento mejorará gracias a ellas. Aunque existan políticas claras en contra del uso de la IA, es probable que los estudiantes sigan utilizándola.

Contrariamente a lo que se suele creer: la IA se puede detectar. Tanto las personas como los programas informáticos (con el entrenamiento adecuado) pueden distinguir el lenguaje, el estilo y las elecciones semánticas.

¿Por qué suena así la IA?

Los modelos de lenguaje grande (LLM) son distribuciones de probabilidad que aprenden a partir de grandes cantidades de datos. NO son el promedio de todos los textos escritos por humanos. Esto se debe a la forma en que se entrenan los modelos.

Los modelos se entrenan en tres etapas: preentrenamiento, ajuste de la instrucción y alineación.

En la fase de preentrenamiento, el modelo analiza los patrones estadísticos de un gran conjunto de datos. El conjunto de datos de entrenamiento contiene sesgos que se reflejan en dichos patrones. Por ejemplo, los datos que aparecen con frecuencia en Internet están sobrerrepresentados. En un artículo de The Guardian, Alex Hern explica cómo se explotó a trabajadores de Kenia y Nigeria para que proporcionaran datos de entrenamiento a OpenAI. Las palabras que estos trabajadores utilizaban con frecuencia, como «delve» y «tapestry», son las mismas que aparecen con frecuencia en los textos generados por IA.

En el «ajuste de instrucciones», el modelo se entrena para responder a indicaciones. El modelo aprende que es mejor seguir instrucciones que ofrecer información precisa y correcta. Incluso cuando se implementan filtros de seguridad, la desinformación sigue afectando a la redacción generada por IA, ya que esta intenta complacer al usuario.

Durante el proceso de alineación, el modelo aprende a distinguir entre respuestas adecuadas e inadecuadas a las indicaciones. Los datos de preferencias pueden estar muy sesgados, ya que se basan en los puntos de vista del entrenador y no necesariamente en hechos.

Hemos incluido una muestra de las palabras y expresiones más habituales que se utilizan en la redacción generada por IA. Estas provienen de los sesgos introducidos en la fase de preentrenamiento.

La IA se caracteriza por un lenguaje y un formato muy estructurados. Las frases de transición, las listas con viñetas y una redacción ordenada son habituales en los textos generados por IA debido a la fase de alineación.

La redacción generada por IA suele ser formal porque los textos formales están sobrerrepresentados en Internet y, por lo tanto, también lo están en los conjuntos de datos utilizados para entrenar a la IA. La positividad y la utilidad se refuerzan durante la fase de alineación.

Nota: Pangram no deduce que se haya utilizado IA solo porque un texto contenga lenguaje y formato típicos de la IA.

Humanistas en el ámbito académico

Hemos analizado 19 herramientas de humanización diferentes y hemos creado una propia. Y hemos descubierto que las herramientas de humanización basadas en IA conservan el significado original en distintos grados (desde ligeras modificaciones hasta textos ininteligibles). Algunas herramientas de humanización hacen un buen trabajo a la hora de parafrasear, pero no logran eludir la detección. Cuanto más fluido es el texto humanizado, menos probable es que eluda la detección. Los humanizadores son capaces de eliminar la marca de agua SynthID de Google (que se utiliza para marcar el texto generado por Gemini).

Detección de IA automatizada y humana

La primera generación de herramientas de detección de IA y sus deficiencias han marcado la percepción que tiene el público en general sobre la detección de IA. Estas herramientas se basaban en correlaciones con el uso de la IA, en lugar de en señales causales. Afirmaban tener una precisión del 99 %, lo cual no resulta adecuado para el ámbito académico.

¡Esta nueva generación de herramientas de detección ofrece una precisión superior al 99,9 % y unas tasas de falsos positivos (FPR) muy bajas! Además, son resistentes a los programas de parafraseo y humanización.

Sin embargo, ¡no todos los detectores de IA son iguales! Existen distintos grados de precisión debido a las diferentes formas en que se entrenan los detectores.

Pangram, TurnItIn y Ghostbusters utilizan la detección basada en el aprendizaje. En la detección basada en el aprendizaje, el modelo se entrena aprendiendo qué es y qué no es contenido generado por IA a partir de una amplia muestra. Mientras que el

Los expertos humanos con experiencia en el uso de modelos de lenguaje grande (LLM) para tareas de redacción pueden detectar la IA con una precisión del 92 %. Los lingüistas no lograron alcanzar el mismo nivel de precisión sin experiencia en el uso de herramientas como ChatGPT. Los detectores humanos son capaces de explicar por qué eligieron una predicción concreta en relación con el texto. Aunque Pangram presenta una mayor precisión y tasas de falsos positivos, es incapaz de contextualizar el texto.

Creación de un proceso justo de integridad académica en materia de IA

A la hora de elaborar políticas o normas sobre el uso de la IA, la comunicación debe ser clara. La IA puede utilizarse para redactar esquemas, generar ideas, corregir errores gramaticales, investigar, elaborar borradores o realizar tareas de redacción de envergadura. Es necesario establecer directrices sobre qué grados de uso de la IA están permitidos y cuáles no. Si necesitas inspiración, puedes consultar las políticas reales sobre IA de las universidades en el directorio de Gradpilot, que incluye más de 170 centros.

Los alumnos y los profesores deben comprender cómo están evolucionando las herramientas habituales gracias a la IA. La función «Ayúdame a escribir» de Google Docs obtiene sus resultados de Gemini. Grammarly incluye actualmente funciones de generación y parafraseo basadas en IA. Es posible que las herramientas de traducción utilicen modelos de lenguaje grande (LLM) para funcionar. La inclusión de fragmentos extraídos de investigaciones generadas por IA o de sesiones de lluvia de ideas también activa los sistemas de detección.

Recomendamos utilizar tanto el criterio humano como la detección automatizada. Es tremendamente injusto para el alumno evaluar su trabajo basándose exclusivamente en la detección por IA, debido a la tasa de falsos positivos (FPR) del 0,01 %. Tras recibir un resultado positivo, los siguientes pasos consistirían en evaluar el proceso de redacción del alumno y comparar el texto en cuestión con sus trabajos anteriores. Asegúrate de probar el detector con varios textos y de tener en cuenta los resultados que podrías obtener al utilizar un modelo de lenguaje grande (LLM) para la tarea.

Si cada vez resulta más evidente que un alumno ha entregado un trabajo redactado por una IA, puede ser una buena oportunidad para aprender. Es importante tratar a los alumnos con respeto y evitar ser demasiado severos. A los alumnos les puede resultar útil volver a realizar el trabajo y mantener una conversación sobre los motivos que les llevaron a utilizar la IA.

Para obtener más información sobre este artículo, no te pierdas el seminario web completo: https://www.pangram.com/resources/the-state-of-ai-detection-in-2025.