Cómo detecta Pangram el contenido generado por IA

Pangram Text está diseñado para detectar contenido generado por IA con una tasa de falsos positivos cercana a cero. Nuestro riguroso enfoque de entrenamiento minimiza los errores y permite al modelo detectar texto generado por IA mediante el análisis y la comprensión de sutiles indicios en la redacción.

Nuestro clasificador utiliza una arquitectura de modelo lingüístico tradicional. Recibe el texto de entrada y lo divide en tokens. A continuación, el modelo convierte cada token en una representación, que es un vector de números que representa el significado de cada token.

La entrada se procesa a través de la red neuronal, generando una representación de salida. Un módulo clasificador transforma dicha representación en una predicción de 0 o 1, donde 0 corresponde a la etiqueta humana y 1 a la etiqueta de la IA.

Entrenamos un modelo inicial con un conjunto de datos pequeño pero diverso, compuesto por aproximadamente un millón de documentos que incluyen textos públicos y con licencia escritos por humanos. El conjunto de datos también incluye textos generados por IA producidos por GPT-4 y otros modelos lingüísticos de vanguardia. El resultado del entrenamiento es una red neuronal capaz de predecir de forma fiable si un texto ha sido escrito por un humano o por una IA.

Minería de negativos duros

El modelo inicial ya era bastante eficaz, pero queríamos maximizar la precisión y reducir cualquier posibilidad de falsos positivos (es decir, que se identificaran erróneamente documentos redactados por personas como generados por IA). Para ello, desarrollamos un algoritmo específico para modelos de detección de IA.

Con el conjunto de datos inicial, nuestro modelo no disponía de suficiente información para pasar de una precisión del 99 % a una del 99,999 %. Aunque el modelo aprende rápidamente los patrones iniciales de los datos, necesita enfrentarse a casos extremos para poder distinguir con precisión entre el texto escrito por humanos y el generado por IA.

Resolvemos esto utilizando el modelo para buscar falsos positivos en grandes conjuntos de datos y ampliando el conjunto de entrenamiento inicial con estos ejemplos difíciles adicionales antes de volver a entrenar el modelo. Tras varios ciclos de este proceso, el modelo resultante presenta una tasa de falsos positivos cercana a cero, así como un rendimiento general mejorado en los conjuntos de evaluación reservados.

Indicaciones del espejo

Diseñamos la parte de IA del conjunto de datos para que se parezca mucho a la parte humana en cuanto a estilo, tono y contenido semántico. Para cada ejemplo humano, generamos un ejemplo creado por IA que coincida con el documento original en tantos ejes como sea posible, para asegurarnos de que nuestro modelo aprenda a clasificar documentos basándose únicamente en características específicas de la escritura LLM.

Reciclar

Entrenamos el modelo con el conjunto de entrenamiento actualizado y evaluamos su rendimiento en cada paso. Gracias a este método, podemos reducir los errores y aumentar la precisión de nuestro modelo más allá de lo que es posible con un entrenamiento convencional.

Echa un vistazo a nuestro informe técnico completo en arXiv, donde analizamos en profundidad los detalles del entrenamiento, el rendimiento y otros experimentos.