Mitos y conceptos erróneos sobre la detección de IA

Jason es profesor de inglés y filosofía en la escuela New Roads School de Los Ángeles.

Introducción

A menudo me preguntan qué pueden y qué no pueden hacer los detectores de IA. Hoy exploraremos algunos de los mitos y conceptos erróneos más comunes sobre la detección de IA. ¡Empecemos!

Mito 1: En lugar de utilizar la detección de IA, deberíamos incorporar la IA a nuestra enseñanza y enseñar a los alumnos a utilizarla.

Debemos incorporar la IA en nuestra enseñanza y enseñar a los alumnos cómo utilizarla. Sin embargo, integrar la IA en lugar de utilizar la detección de IA supone enfrentar dos ideas que en realidad no son contradictorias. La detección de IA es un requisito previo necesario para su incorporación, a fin de establecer barreras de protección razonables en torno a la tecnología y garantizar que se utilice con fines asistenciales, en lugar de abusivos.

Existe una cierta falacia ludita que se produce cuando surge una nueva tecnología y se sugiere cualquier restricción, en este caso que «la detección equivale a la disuasión», lo cual es falso.

En la práctica, ocurre lo contrario. Quienes buscan herramientas potentes de detección de IA suelen ser los que más desean utilizar la IA en sus aulas. Quieren utilizar las herramientas, pero no quieren que se abuse de ellas. Por otro lado, hay quienes están tan entusiasmados con el futuro de la IA que quieren utilizar herramientas de IA sin restricciones en sus aulas, bajo el ideal de que «este es el futuro». No aceptan ninguna restricción. Sin embargo, hay quienes aborrecen la IA y son partidarios del «lápiz y papel». Son personas o centros educativos que han decidido que el único enfoque válido con respecto a la IA es no utilizarla en absoluto. No hay necesidad de detección cuando la clase vuelve a los días anteriores a la informatización. Sin embargo, la verdad es que quienes buscan la detección de la IA suelen ser los más interesados en maximizar el uso de la IA para el aprendizaje en el aula. Quieren evitar determinantes innecesarios mientras experimentan y amplían su oficio con la IA. Nos parece que este es el enfoque correcto.

Mito 2: Los detectores de IA son cajas negras que no revelan su metodología y, por lo tanto, no son fiables.

Si bien es cierto que otros detectores de IA no son transparentes sobre sus métodos, Pangram ha compartido abiertamente su metodología. Pangram es transparente sobre sus métodos, porque cree que es importante ganarse la confianza de la comunidad investigadora y mostrar pruebas objetivas de la precisión del software. Pangram ofrece una demostración interactiva y animada de su metodología en su sitio web.

Pangram también publica algunas de sus innovaciones técnicas en conferencias y revistas sobre inteligencia artificial. Por ejemplo, recientemente presentaron en la conferencia COLING un trabajo en el que describen la solidez del sistema frente a humanizadores y parafraseadores.

Mito 3: La detección de IA no ha sido revisada por pares ni validada por académicos.

El trabajo de Pangram no solo ha sido revisado por expertos, sino que cualquiera puede revisarlo en cualquier momento.

Pangram ha aparecido recientemente y ha sido objeto de evaluación comparativa en varios trabajos revisados por pares. Pangram ganó el premio al detector más preciso y robusto en la COLING Shared Task, una competición en la que participaron varios detectores de IA de código abierto y disponibles en el mercado.

Pangram también apareció recientemente en una investigación de la Universidad de Maryland que demostró que es el único detector automático de IA que supera a los expertos humanos capacitados en la detección de textos generados por IA, y en otro trabajo de investigación de la Universidad de Houston que demostró que Pangram es el único detector de IA que es robusto ante la traducción.

Los estudios de investigación más antiguos que se citan habitualmente, como el estudio de Weber-Wulff de 2023 y el estudio de Liang que demuestra que los detectores de IA tienen un sesgo contra el ESL, no utilizan Pangram como referencia. Estos estudios no solo están desactualizados, sino que hemos demostrado que Pangram destaca en estas referencias, mientras que otros detectores no lo hacen.

Pangram no teme someterse a las pruebas de estrés de los investigadores, y por eso ofrece acceso gratuito e ilimitado a los investigadores académicos que deseen estudiar la precisión de su detector de IA.

Mito 4: Los detectores de IA son inexactos.

A menudo se me han acercado personas que afirman que su trabajo fue marcado como IA cuando en realidad fue escrito por humanos. Desafortunadamente, creo que aquí están sucediendo varias cosas.

Hay personas que creen que los detectores de IA simplemente no sirven, porque los autores y las instituciones siguen afirmándolo sin pruebas y sin pedir disculpas. Tomemos como ejemplo esteartículo que afirma que «A mediados de 2024, ningún servicio de detección ha sido capaz de identificar de forma concluyente el contenido generado por IA con una tasa superior a la del azar, y la Universidad Estatal de Illinois no tiene relación con ninguno de estos servicios», lo cual es una afirmación inventada, dado que incluso los peores detectores de IA siguen detectando algún contenido de IA. Pangram presume de una tasa de falsos positivos de 1/10 000, porque en su desarrollo y metodología, que se puede leer en su libro blanco, esas son las cifras reales de detecciones incorrectas que ven, lo que es unas 100 veces mejor que el siguiente mejor software comercial disponible.

Ningún software de detección puede ser 100 % preciso. Eso es imposible. Los detectores de IA suelen ser buenos; la detección Pangram es mejor. Ninguna detección de IA es 100 % precisa. Si se analizaran dos textos que afirman ser humanos con Pangram (o cualquier otro detector) y ambos fueran marcados como IA cuando no lo son, la probabilidad estadística de que el detector se equivoque es absurdamente menor que la probabilidad de que el texto haya sido realmente escrito por IA. Este es el problema que las escuelas quieren resolver: la confianza al afirmar que algo está escrito con IA, cuando no lo está. Con Pangram, podemos estar mucho más seguros de que un texto es IA que una persona que afirma que no lo es.

Mito 5: Los detectores de IA no detectan herramientas de ayuda a la redacción como Grammarly.

Existe la idea errónea de que la ayuda de la IA generativa, como Grammarly, no se detecta. Quizás eso sea cierto con otros detectores, pero Pangram detectará una cantidad suficiente de ayuda de IA generativa en la redacción. Eso significa que, sí, el trabajo que has escrito es tuyo, pero se está marcando como IA porque has utilizado una cantidad significativa de IA para «limpiarlo». Veo esto todo el tiempo con los estudiantes.

Grammarly ya no es solo un corrector gramatical. Es una herramienta de asistencia con IA completa que reescribe por completo los ensayos de los estudiantes utilizando un gran modelo lingüístico. Si un estudiante utiliza Grammarly de esta manera, para alterar fundamentalmente la composición y el estilo de su escritura original, Pangram detectará que el ensayo ha sido generado por IA.

Por eso recomiendo encarecidamente a los profesores que adopten una política sobre IA, como el sistema de niveles de la página web de Pangram, para que no haya malentendidos sobre qué tipo de herramientas de IA están permitidas en el proceso de redacción y qué se considera una conducta indebida.

Mito 6: Los detectores de IA causan daño al generar acusaciones falsas contra estudiantes honestos.

Los detractores de la detección de IA suelen decir que acusar falsamente a los estudiantes de utilizar IA causa un daño irreparable a la reputación del estudiante y a la credibilidad del profesor.

Sin embargo, Pangram no es una herramienta acusatoria en sí misma.

En mi experiencia, la mayoría de las veces, una detección positiva de IA en la redacción de un alumno suele ser un malentendido, o simplemente un alumno bienintencionado que se ha visto abrumado por la presión de los plazos. Una simple conversación entre un profesor y un alumno no tiene por qué ser de naturaleza conflictiva. Creemos que los profesores deben aprovechar la oportunidad para comprender el proceso de redacción del alumno: preguntarle qué tan bien comprende el material subyacente, revisar el historial de revisiones del alumno para tener una idea de cómo se elaboró el documento y pedirle que explique si utilizó la asistencia de la IA en el proceso de edición y de qué manera, en lugar de llegar inmediatamente a la conclusión de que el alumno tenía la intención de hacer trampa.

Pangram suele comparar los detectores de IA con los detectores de metales: cuando un detector de metales se activa, no te detienen inmediatamente. Más bien, una detección positiva es una razón para entablar una conversación más profunda y comprender mejor lo que realmente está sucediendo.

Conclusión

Es importante, como con cualquier herramienta, que los profesores comprendan tanto las ventajas como las limitaciones de la detección de IA.

Aunque sistemas como Pangram son extremadamente precisos a la hora de detectar texto generado por IA, en raras ocasiones se producen errores.

Por eso es fundamental que los profesores establezcan directrices, políticas y límites claros en sus aulas sobre qué tipo de ayuda de IA está permitida, y por qué las detecciones positivas de Pangram deben tomarse en serio, pero las conversaciones sobre el uso de la IA deben abordarse con empatía y curiosidad. Una detección positiva de Pangram nunca debe utilizarse de forma aislada para castigar o acusar a un estudiante de conducta académica indebida sin comprender en profundidad su proceso de redacción.

¿Quieres continuar la conversación? Jason estará encantado de hablar contigo y ofrecerte más orientación sobre cómo establecer una política de IA para tu aula. Puedes ponerte en contacto con él en jason@pangram.com.