No, Pangram no se basa en la perplejidad ni en la variabilidad para las predicciones de nuestro modelo. Pangram es un tipo de red neuronal denominada «modelo clasificador». Pangram se entrena utilizando «espejos sintéticos» de los documentos más difíciles de clasificar y, a continuación, se vuelve a entrenar una y otra vez. Esto lo hace adaptable a nuevos modelos y significa que, a medida que Pangram adquiere más experiencia con texto humano a través de nuestro algoritmo de aprendizaje activo, va mejorando gradualmente.
¿Qué son la perplejidad y la irregularidad?
Extraído de nuestra entrada del blog sobre la perplejidad y la irregularidad; no dudes en consultarla si deseas obtener explicaciones detalladas sobre las limitaciones de estos métodos.
https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai
La perplejidad es el grado de lo inesperado o sorprendente que resulta cada palabra de un texto, cuando se analiza desde la perspectiva de un modelo lingüístico concreto o LLM.
Por ejemplo, aquí hay dos frases. Centrémonos en la última palabra de cada frase, a modo de ejemplo. En el primer ejemplo, la última palabra tiene una perplejidad baja, mientras que en el segundo ejemplo, la última palabra tiene una perplejidad alta.
Baja perplejidad:
Hoy, para comer, me he tomado un plato de *sopa*.
Alta perplejidad:
Hoy, para comer, me he tomado un plato de *arañas*.
La razón por la que la segunda frase presenta una alta perplejidad es que es muy poco probable que un modelo de lenguaje encuentre ejemplos de personas comiendo cuencos de arañas en su conjunto de datos de entrenamiento; por lo tanto, al modelo le resulta muy sorprendente que la frase termine con «arañas», en lugar de con algo como «sopa», «un sándwich» o «una ensalada».
La «burstiness» es la variación de la perplejidad a lo largo de un documento. Si a lo largo del documento aparecen intercaladas algunas palabras y frases sorprendentes, se diría que presenta un alto nivel de «burstiness».
¿Por qué Pangram no utiliza la perplejidad y la irregularidad?
El uso de la perplejidad y la irregularidad para detectar textos generados por IA presenta numerosos inconvenientes. Para obtener una explicación detallada de lo que se expone a continuación, consulta nuestra entrada de blog sobre el tema: https://www.pangram.com/blog/why-perplexity-and-burstiness-fail-to-detect-ai. Dado que los modelos lingüísticos se entrenan explícitamente para minimizar la perplejidad en sus datos de entrenamiento, los textos humanos que se reproducen con frecuencia, como la Declaración de Independencia y los artículos de Wikipedia, se clasifican erróneamente como generados por IA, un problema que no hace más que agravarse a medida que los modelos incorporan más contenido de la web. Estas métricas también son relativas a un modelo específico, por lo que un detector calibrado para un generador produce resultados inexactos con otro, y muchos modelos comerciales ni siquiera facilitan las probabilidades de los tokens necesarias para calcular la perplejidad. Penalizan sistemáticamente a los hablantes no nativos de inglés, cuyo vocabulario más limitado y estructuras sintácticas más sencillas producen, de forma natural, una menor perplejidad y variabilidad. Y, lo que es más importante, se trata de heurísticas estáticas que no pueden mejorar con más datos ni realizar cálculos como lo haría un enfoque de aprendizaje profundo; por lo tanto, no pueden ofrecer la fiabilidad que exigen las aplicaciones de alto riesgo.
