Cómo detecta Pangram el contenido generado por IA
Resumen
Proceso de formación inicial
Nuestro clasificador utiliza una arquitectura de modelo lingüístico tradicional. Recibe el texto de entrada y lo divide en tokens. A continuación, el modelo convierte cada token en una representación, que es un vector de números que representa el significado de cada token.
La entrada se procesa a través de la red neuronal, generando una representación de salida. Un módulo clasificador transforma dicha representación en una predicción de 0 o 1, donde 0 corresponde a la etiqueta humana y 1 a la etiqueta de la IA.
Mejora continua mediante la iteración
El modelo inicial ya era bastante eficaz, pero queríamos maximizar la precisión y reducir cualquier posibilidad de falsos positivos (es decir, que se identificaran erróneamente documentos redactados por personas como generados por IA). Para ello, desarrollamos un algoritmo específico para modelos de detección de IA.
Con el conjunto de datos inicial, nuestro modelo no disponía de suficiente información para pasar de una precisión del 99 % a una del 99,999 %. Aunque el modelo aprende rápidamente los patrones iniciales de los datos, necesita enfrentarse a casos extremos para poder distinguir con precisión entre el texto escrito por humanos y el generado por IA.
Resolvemos esto utilizando el modelo para buscar falsos positivos en grandes conjuntos de datos y ampliando el conjunto de entrenamiento inicial con estos ejemplos difíciles adicionales antes de volver a entrenar el modelo. Tras varios ciclos de este proceso, el modelo resultante presenta una tasa de falsos positivos cercana a cero, así como un rendimiento general mejorado en los conjuntos de evaluación reservados.
Más información
