Mitos y conceptos erróneos sobre la detección de IA

Jason es profesor de inglés y filosofía en el colegio New Roads School de Los Ángeles.

Introducción

A menudo me preguntan qué pueden y qué no pueden hacer los detectores de IA. Hoy vamos a analizar algunos de los mitos y conceptos erróneos más comunes sobre la detección de IA. ¡Empecemos!

Mito n.º 1: En lugar de utilizar la detección basada en la IA, deberíamos incorporar la IA a nuestra enseñanza y enseñar a los alumnos a utilizarla.

¡Deberíamos incorporar la IA a nuestra enseñanza y enseñar a los alumnos a utilizarla! Sin embargo, contraponer la integración de la IA a la detección de la IA es enfrentar dos ideas que, en realidad, no son contradictorias. La detección de la IA es un requisito previo necesario para su integración, ya que permite establecer límites razonables en torno a la tecnología y garantizar que esta se utilice con fines de ayuda, y no de abuso.

Existe una cierta falacia ludita que surge cada vez que aparece una nueva tecnología y se propone alguna restricción; en este caso, la idea de que «la detección equivale a la disuasión», lo cual es falso.

En la práctica, ocurre justo lo contrario. Quienes buscan herramientas eficaces de detección de IA suelen ser precisamente quienes más desean utilizarla en sus aulas. Quieren usar esas herramientas, pero no quieren que se haga un uso indebido de ellas. Por otro lado, hay quienes están tan entusiasmados con el futuro de la IA que quieren utilizar las herramientas de IA sin más en sus aulas, bajo la idea de que «este es el futuro». No aceptan ninguna restricción. Aun así, hay quienes aborrecen la IA y son del tipo «lápiz y papel». Se trata de personas o centros educativos que han decidido que el único enfoque válido ante la IA es no tener nada que ver con ella. No hay necesidad de detección cuando la clase vuelve a los días previos a la informatización. La verdad, sin embargo, es que quienes buscan la detección de IA suelen ser los más interesados en maximizar el uso de la IA para el aprendizaje en el aula. Quieren evitar factores determinantes innecesarios mientras experimentan y amplían sus habilidades con la IA. Este nos parece el enfoque correcto.

Mito n.º 2: Los detectores de IA son cajas negras que no revelan su metodología y, por lo tanto, no son fiables.

Si bien es cierto que otros detectores de IA no son transparentes en cuanto a sus métodos, Pangram ha compartido abiertamente su metodología. Pangram es transparente en cuanto a sus métodos, ya que considera que es importante ganarse la confianza de la comunidad investigadora y mostrar pruebas objetivas de por qué el software es preciso. Pangram ofrece en su página web una demostración interactiva y animada de su metodología.

Pangram también publica algunas de sus innovaciones técnicas en congresos y revistas especializados en inteligencia artificial. Por ejemplo, recientemente presentaron en el congreso COLING un trabajo en el que describen la resistencia del sistema frente a herramientas de humanización y parafraseo.

Mito n.º 3: La detección de IA no ha sido sometida a revisión por pares ni validada por la comunidad académica.

El trabajo de Pangram no solo ha sido revisado por expertos, sino que cualquiera puede consultarlo en cualquier momento.

Pangram ha sido objeto de atención y ha sido comparado con otros sistemas en varios trabajos revisados por pares. Pangram ganó el premio al detector más preciso y robusto en la tarea compartida COLING, una competición en la que participaron varios detectores de IA de código abierto y comerciales.

Pangram también ha aparecido recientemente en un estudio de la Universidad de Maryland que demuestra que es el único detector automático de IA que supera a los expertos humanos en la detección de textos generados por IA, así como en otro artículo de investigación de la Universidad de Houston que demuestra que Pangram es el único detector de IA que ofrece un rendimiento sólido ante la traducción.

Los estudios de investigación más antiguos que se citan habitualmente, como el estudio de Weber-Wulff de 2023 y el de Liang, que demuestra que los detectores de IA tienen un sesgo contra los hablantes de inglés como segunda lengua (ESL), no incluyen a Pangram en sus comparativas. Estos estudios no solo están desactualizados, sino que hemos demostrado que Pangram destaca en estas comparativas, mientras que otros detectores no lo hacen.

Pangram no teme someterse a las pruebas de estrés de los investigadores, y por eso ofrece acceso gratuito e ilimitado a los investigadores académicos que deseen estudiar la precisión del detector de IA de Pangram.

Mito n.º 4: Los detectores de IA son poco precisos.

A menudo se me han acercado personas que afirman que su trabajo fue marcado como «IA» cuando en realidad lo había escrito un humano. Por desgracia, creo que aquí hay varios factores en juego.

Hay quienes creen que los detectores de IA no sirven para nada, ya que los autores y las instituciones lo repiten sin reparos y sin aportar pruebas. Tomemos, por ejemplo, este artículo que afirma que «A mediados de 2024, ningún servicio de detección ha sido capaz de identificar de forma concluyente el contenido generado por IA con una tasa superior a la del azar, y la Universidad Estatal de Illinois no tiene relación con ninguno de estos servicios», lo cual es una afirmación inventada, dado que incluso los peores detectores de IA siguen detectando algo de contenido generado por IA. Pangram presume de una tasa de falsos positivos de 1/10 000, porque en su desarrollo y metodología, que se puede consultar en su informe técnico, esas son las cifras reales de detecciones incorrectas que observan, lo que supone un rendimiento aproximadamente 100 veces superior al del siguiente mejor software comercial disponible.

Ningún software de detección puede ser 100 % preciso. Eso no es posible. Los detectores de IA suelen ser buenos; la detección de Pangram es mejor. Ninguna detección de IA es 100 % fiable. Si se sometieran a Pangram (o a cualquier detector) dos textos que afirmaran ser de autoría humana y ambos fueran marcados como IA cuando no lo eran, la probabilidad estadística de que el detector se equivocara sería absurdamente menor que la probabilidad de que el texto hubiera sido realmente escrito por IA. Este es el problema que las escuelas quieren resolver: la confianza a la hora de afirmar que algo está escrito con IA, cuando no lo está. Con Pangram, podemos estar mucho más seguros de que un texto es de IA que de que una persona afirme que no lo es.

Mito n.º 5: Los detectores de IA no detectan herramientas de ayuda a la redacción como Grammarly

Existe la idea errónea de que las herramientas de IA generativa, como Grammarly, no se detectan. Quizá eso sea cierto con otros detectores, pero Pangram detectará una cantidad suficiente de ayuda de IA generativa en la redacción. Eso significa que, sí, el trabajo que has escrito es tuyo, pero se está marcando como «IA» porque has utilizado una cantidad significativa de IA para «pulirlo». Veo esto constantemente con los estudiantes.

Grammarly ya no es solo un corrector gramatical. Se trata de una herramienta de asistencia basada en IA que reescribe por completo los ensayos de los estudiantes utilizando un modelo de lenguaje de gran escala. Si un estudiante utiliza Grammarly de esta manera, para modificar de forma sustancial la estructura y el estilo de su texto original, Pangram detectará que el ensayo ha sido generado por IA.

Por eso recomiendo encarecidamente a los profesores que adopten una política sobre IA, como el sistema de niveles que aparece en la página web de Pangram, para que no haya malentendidos sobre qué tipo de ayuda de herramientas de IA está permitida en el proceso de redacción y qué se considera conducta indebida.

Mito n.º 6: Los detectores de IA causan daño al generar acusaciones falsas contra estudiantes honrados.

Los detractores de la detección de IA suelen argumentar que acusar erróneamente a los alumnos de utilizar IA causa un daño irreparable a la reputación del alumno y a la credibilidad del profesor.

Sin embargo, el pangram no es, en sí mismo, una herramienta acusatoria.

Según mi experiencia, la mayoría de las veces, cuando se detecta el uso de IA en el trabajo escrito de un alumno, suele tratarse de un malentendido o, simplemente, de un alumno bienintencionado que se ha visto desbordado por la presión de los plazos. Una simple conversación entre un profesor y un alumno no tiene por qué ser conflictiva. Creemos que los profesores deberían aprovechar la oportunidad para comprender el proceso de redacción del estudiante: preguntarle qué grado de comprensión tiene del material subyacente, examinar el historial de revisiones del estudiante para hacerse una idea de cómo se elaboró el documento y pedirle que explique si ha utilizado ayuda de IA en el proceso de edición y de qué manera, en lugar de sacar inmediatamente la conclusión de que el estudiante tenía la intención de hacer trampa.

Pangram suele comparar los detectores de IA con los detectores de metales: cuando un detector de metales se activa, no te detienen inmediatamente. Más bien, una detección positiva es un motivo para entablar una conversación más profunda y comprender mejor lo que realmente está pasando.

Conclusión

Es importante —al igual que con cualquier herramienta— que los profesores comprendan tanto las ventajas como las limitaciones de la detección mediante IA.

Aunque sistemas como Pangram son extremadamente precisos a la hora de detectar textos generados por IA, en contadas ocasiones se producen errores.

Por eso es fundamental que los profesores establezcan directrices, normas y límites claros en sus aulas sobre qué tipo de ayuda de la IA está permitida, y por qué deben tomarse en serio las detecciones positivas de Pangram; sin embargo, las conversaciones sobre el uso de la IA deben abordarse con empatía y curiosidad. Una detección positiva de Pangram nunca debe utilizarse de forma aislada para castigar o acusar a un alumno de conducta académica indebida sin comprender en profundidad su proceso de redacción.

¿Quieres seguir hablando del tema? Jason estará encantado de charlar contigo y ofrecerte más consejos sobre cómo establecer una política de IA para tu clase. Puedes ponerte en contacto con él en jason@pangram.com.