¿Cómo funciona la detección mediante IA?

Puntos clave:

1. Los modelos de lenguaje grande (LLM) presentan ciertos patrones que permiten a las distintas herramientas de detección de IA determinar si el texto ha sido generado por un ser humano o por una IA.
2. Los detectores antiguos se basaban en la irregularidad y la perplejidad, pero estos parámetros no son fiables. Los nuevos detectores funcionan mucho mejor y se basan en conjuntos de datos más amplios y en el aprendizaje activo.
3. A la hora de elegir un detector, los usuarios deben decidir qué índices de falsos positivos y falsos negativos les parecen aceptables. También deben determinar si necesitan un verificador de plagio u otras funciones antes de seleccionar una herramienta.
4. Las personas que no han recibido formación en la detección de contenidos generados por IA no suelen ser muy eficaces en ello. Sin embargo, aquellas que sí la han recibido o que están expuestas habitualmente a textos generados por IA pueden identificar mejor este tipo de contenidos que alguien sin formación. Esta capacidad de detección, combinada con el uso de software, puede funcionar muy bien.

¿Qué son los detectores de IA?

La IA se puede detectar. No es magia negra, sino algo que se basa en una amplia investigación. En una era en la que el contenido generado por IA es cada vez más frecuente en el ámbito académico, los medios de comunicación y el mundo empresarial, la capacidad de distinguir entre textos escritos por humanos y por máquinas es una habilidad fundamental. La IA toma decisiones lingüísticas, estilísticas y semánticas que pueden ser detectadas por un ojo entrenado o por un software de detección automática suficientemente bueno. Esto se debe a que podemos entender por qué la IA se expresa de la forma en que lo hace, y cuáles son los patrones que podemos utilizar para identificarla.

¿Cómo funcionan los modelos de lenguaje a gran escala?

Antes de hablar sobre cómo funciona el software de detección de IA, es importante comprender que los modelos de inteligencia artificial son distribuciones de probabilidad. Un modelo de lenguaje a gran escala (LLM), como ChatGPT, es una versión muy, muy compleja de esto, que predice constantemente la siguiente palabra o «token» más probable en una secuencia. Estas distribuciones de probabilidad se aprenden a partir de una enorme cantidad de datos, que a menudo abarca una parte significativa de la Internet pública.

Una pregunta que se oye a menudo es: «¿Son los modelos lingüísticos de IA el promedio de todo lo que escriben los humanos?». La respuesta es claramente no. Los modelos lingüísticos no se limitan a calcular el promedio de lo que dicen todos los humanos. Por un lado, los modelos lingüísticos toman decisiones muy peculiares. Además, están muy sesgados debido a los conjuntos de datos de entrenamiento y a los sesgos de sus creadores. Por último, los modelos de lenguaje grandes (LLM) modernos están optimizados para seguir instrucciones y decir lo que los usuarios quieren oír, en lugar de buscar la corrección o la precisión, una característica que los convierte en asistentes útiles, pero en fuentes poco fiables de la verdad.

Esto se debe al moderno procedimiento de entrenamiento de los modelos de lenguaje grande (LLM), que consta de tres fases:

1. Preentrenamiento: durante esta fase del entrenamiento, el modelo aprende los patrones estadísticos del lenguaje. Los sesgos de los datos de entrenamiento se reflejan en estos patrones. Por ejemplo, los datos que aparecen con frecuencia en Internet, como los de Wikipedia, están sobrerrepresentados, por lo que el texto generado por IA suele tener un tono formal y enciclopédico. Además, se recurre a mano de obra barata y subcontratada para crear los datos de entrenamiento, lo que explica que palabras como «profundizar», «tapiz» e «intrincado» se vuelvan extremadamente comunes en el texto generado por IA, reflejando las normas lingüísticas de los creadores de los datos en lugar de las del usuario final.
2. Ajuste de instrucciones: Durante esta fase, el modelo aprende a seguir instrucciones y a obedecer órdenes. La consecuencia es que el modelo aprende que es mejor seguir instrucciones que presentar información precisa y correcta. Esto da lugar a un comportamiento adulador o «complaciente», en el que la IA da prioridad a generar una respuesta útil y que suene agradable, incluso si para ello tiene que inventar datos o «alucinar». Para ellos es más importante complacer a la gente que ofrecer información correcta.
3. Alineación: Durante esta fase, el modelo aprende a expresar lo que le gusta y lo que prefiere la gente. Aprende qué cosas están «bien» y cuáles «mal» decir. Sin embargo, estos datos sobre preferencias pueden estar muy sesgados, ya que a menudo favorecen respuestas neutras, seguras e inofensivas. Este proceso puede privar al modelo de una voz propia, lo que le lleva a evitar la controversia o las opiniones contundentes. El modelo de lenguaje grande (LLM) carece de una base sólida en la verdad o la corrección.

Los modelos de IA generativa son productos, lanzados al mercado por empresas tecnológicas, que incorporan de forma intencionada sesgos y comportamientos que se reflejan en sus resultados.

¿Cuáles son los patrones en el lenguaje de la IA?

Una vez que comprendas cómo se entrenan los modelos de lenguaje grande (LLM), podrás detectar los «indicios» de las herramientas de redacción basadas en IA. A menudo no se trata de una sola prueba concluyente, sino de una combinación de todas estas palabras lo que hace saltar las alarmas.

Lenguaje y estilo

• Elección de palabras: Los redactores de contenido basados en IA tienen palabras favoritas, como: «aspecto», «retos», «profundizar», «mejorar», «tapiz», «testamento», «auténtico», «exhaustivo», «crucial», «significativo» y «transformador», así como adverbios como «además» y «por otra parte». Esto se debe a sesgos en los conjuntos de datos utilizados para el preentrenamiento. El uso frecuente de estas palabras puede crear un tono excesivamente formal o grandilocuente, que a menudo resulta fuera de lugar en el contexto de un ensayo típico de un estudiante o de una comunicación informal.
• Patrones de expresión: La redacción generada por IA utiliza patrones de expresión como «a medida que [verbo] el tema», «es importante señalar», «no solo, sino también», «allanando el camino» y «en lo que respecta a». Estas expresiones, aunque gramaticalmente correctas, suelen utilizarse como rellenos conversacionales y pueden hacer que el texto resulte genérico y formulista.
• Ortografía y gramática: La escritura generada por IA suele presentar una ortografía y una gramática impecables, y tiende a utilizar oraciones complejas. La escritura humana combina oraciones simples y complejas, e incluso los escritores expertos recurren en ocasiones a construcciones gramaticales que no son «perfectas según las reglas» por motivos estilísticos, como el uso de fragmentos de oración para dar énfasis.

Estructura y organización

• Párrafos y estructura de las oraciones: A la escritura generada por IA le suele gustar utilizar párrafos muy organizados, todos de aproximadamente la misma longitud, y estructuras tipo lista. Esto puede dar lugar a un ritmo monótono que carece de la variación natural propia de la escritura humana. Lo mismo puede aplicarse a la longitud de las oraciones.
• Introducción y conclusión: Los ensayos generados por IA suelen tener una introducción y una conclusión muy pulcras, y la conclusión suele ser muy larga, comienza con «En general» o «En conclusión» y repite la mayor parte de lo que ya se ha escrito, limitándose básicamente a reformular la tesis y los puntos principales sin aportar nuevas ideas ni una síntesis.

Propósito y personalidad

• Objetivo e intención: El texto suele ser muy impreciso y estar lleno de generalidades. Esto ocurre porque el ajuste de las instrucciones da demasiada prioridad al cumplimiento estricto de las instrucciones, y para no desviarse del tema, el modelo aprende que lo mejor es ser muy impreciso y genérico para minimizar el riesgo de cometer errores.
• Reflexión y metacognición: La IA es muy mala a la hora de reflexionar y relacionar lo que escribe con sus experiencias personales... ¡porque no tiene experiencias personales con las que relacionarse! La escritura humana puede reflejar la voz única y la experiencia personal de su autor, estableciendo conexiones y generando ideas novedosas que no son simplemente una mezcla de información ya existente.
• Cambios bruscos de estilo y tono: A veces se produce un cambio muy discordante y brusco en el tono y el estilo. Esto ocurre cuando un estudiante utiliza la IA para parte de su redacción, pero no para toda ella, lo que da lugar a un producto final incoherente y desarticulado.

Cómo funciona la detección de IA: tres pasos

1. Entrenamiento del modelo de detección de IA: En primer lugar, se entrena el modelo. Los primeros detectores de IA no funcionaban muy bien porque intentaban detectar fragmentos de texto con una alta perplejidad o una alta variabilidad. La perplejidad es el grado de inesperado o sorprendente que resulta cada palabra de un fragmento de texto para un modelo de lenguaje grande. La variabilidad es el cambio en la perplejidad a lo largo de un documento. Sin embargo, este enfoque tiene varios defectos y, a menudo, no logra detectar los resultados generados por la IA. Además, solo utilizan un conjunto de datos de texto limitado para el entrenamiento. Los modelos modernos y exitosos, como Pangram, utilizan un conjunto de datos más amplio y emplean técnicas como el aprendizaje activo para obtener resultados más precisos.
2. Introduce el texto que se debe clasificar y divídelo en tokens: el usuario proporciona la entrada. Cuando un clasificador recibe el texto de entrada, lo divide en tokens. Esto significa que toma todo el texto y lo descompone en una serie de números que el modelo puede interpretar. A continuación, el modelo convierte cada token en una representación, que es un vector de números que representa el significado de cada token.
3. Clasificar el token como humano o IA: la entrada se procesa a través de la red neuronal, generando una representación de salida. Un módulo clasificador transforma la representación de salida en una predicción de 0 o 1, donde 0 corresponde a la etiqueta «humano» y 1 a la etiqueta «IA».

¿Qué hay de los falsos positivos y los falsos negativos?

La eficacia de una herramienta de detección de IA se mide por el número de falsos positivos (FPR) y falsos negativos (NPR) que se producen al utilizarla. Un falso positivo se produce cuando un detector predice erróneamente que una muestra de contenido escrita por un humano ha sido redactada por una IA. Por el contrario, un falso negativo se produce cuando una muestra generada por una IA se interpreta erróneamente como texto escrito por un humano.

Detección manual frente a detección automática

Si decides detectar la IA solo a simple vista, debes haber recibido formación específica. Las personas sin conocimientos especializados no pueden hacerlo mejor que adivinando al azar. Ni siquiera los lingüistas más expertos pueden detectar la IA sin una formación específica. Nuestra recomendación es utilizar ambos métodos para obtener los mejores resultados, creando así un proceso de evaluación más sólido y equitativo.

Si bien los detectores de contenido generado por IA pueden indicar si algo ha sido creado por herramientas de IA, los seres humanos no solo pueden determinar si un texto procede de la IA, sino que también pueden aportar contexto y matices adicionales a esa decisión. Un ser humano conoce el contexto: muestras de redacciones anteriores del alumno, cómo debe ser la redacción propia de su curso y cómo suele ser la respuesta típica de un alumno a una tarea. Este contexto es fundamental, ya que la idoneidad del uso de la IA puede variar enormemente en función de las instrucciones de la tarea.

Las herramientas de detección basadas en IA son solo el principio. No constituyen una prueba concluyente de que un estudiante haya infringido la integridad académica, sino más bien un dato inicial que justifica una investigación más exhaustiva y contextualizada. El uso de la IA puede ser involuntario, accidental o incluso estar permitido en el marco de tu trabajo concreto: ¡depende del caso!

Bonus: ¿Y qué hay de los «humanizadores»?

Los «humanizadores» son herramientas que se utilizan para «humanizar» el contenido generado por IA con el fin de evitar que sea detectado como tal. Los redactores de contenido suelen utilizarlos para modificar el aspecto de los textos generados por IA. Los humanizadores parafrasean el texto, eliminan palabras específicas y añaden «errores» propios de un ser humano a un contenido. A veces, esto hace que el texto resulte prácticamente ilegible o que su calidad se reduzca significativamente. Muchos detectores de IA entrenan su software para detectar texto humanizado. A menudo, utilizar un humanizador supone un riesgo, ya que puede reducir drásticamente la calidad del texto, lo cual es especialmente preocupante en el caso de los trabajos de los estudiantes.

Ahora que ya sabes cómo funcionan, prueba con tu propio contenido. ¿Es obra de la IA o de un humano?