¿Qué es mejor: Pangram o Turnitin?

Comparación de los dos principales detectores de IA

A menudo me preguntan: «¿En qué se diferencia Pangram del detector de escritura basado en IA de Turnitin?». Al fin y al cabo, muchos centros educativos utilizan el detector de plagio tradicional de Turnitin. El detector de escritura basado en IA de Turnitin es fácil de usar, pero muchos docentes optan por Pangram en su lugar. ¿A qué se debe esto? En mi opinión, los dos factores principales son la precisión y la disponibilidad.

Precisión de Pangram frente a precisión de Turnitin

¿Qué grado de precisión tienen Pangram y Turnitin? Cada empresa ha publicado sus propios informes técnicos en los que se detalla su precisión, y ambas han sido evaluadas en diferentes estudios académicos.

En el informe técnico de Turnitin de septiembre de 2024, se indica que la tasa de detección del texto generado por GPT-4 es del 76,8 %. Esto significa que Turnitin detecta aproximadamente el 77 % del texto generado por IA a partir de GPT-4 que analiza.

Por el contrario, el informe técnico de Pangram demuestra una precisión del 99,9 % en general con respecto al texto generado por IA, así como al texto de GPT-4 en concreto. Estas cifras están respaldadas por investigaciones académicas independientes, en las que tres estudios distintos han concluido que Pangram tiene una precisión superior al 99 %.

Índice de falsos positivos

La tasa de falsos positivos es un componente importante de la precisión y, podría decirse, el más importante en el contexto de un aula. Si no se puede confiar en los resultados del detector, ¿qué utilidad tiene realmente?

El informe técnico de Turnitin indica una tasa de falsos positivos del 0,51 %, es decir, aproximadamente 1 de cada 200.

La tasa de falsos positivos que Turnitin indica en su página web

Por su parte, Pangram presenta una tasa global de falsos positivos bien documentada del 0,01 %, es decir, 1 de cada 10 000. En un conjunto de datos de ensayos académicos similar al utilizado en la evaluación de Turnitin, Pangram muestra una tasa de falsos positivos de 1 de cada 25 000.

Sesgo ESL

Tanto Pangram como Turnitin afirman no tener prejuicios hacia los hablantes de inglés no nativos.

Pangram registró una tasa de falsos positivos del 0,032 % en cuatro conjuntos de datos de ESL no utilizados para el entrenamiento.

Turnitin ha analizado su rendimiento en la redacción de textos de inglés como segunda lengua (ESL) y ha registrado una tasa de falsos positivos del 1,4 % en este tipo de textos, frente al 1,3 % de tasa de falsos positivos en textos que no son de ESL.

Pangram pudo evaluar el mismo conjunto de datos en una comparación directa, demostrando una tasa de falsos positivos (FPR) significativamente menor, del 0,02 % en los textos de ESL y del 0,0 % en los textos que no eran de ESL.

Disponibilidad

Pangram está disponible para todos los profesores, independientemente de si su centro educativo cuenta con una licencia institucional. Los profesores pueden obtener cinco comprobaciones al día de forma gratuita, pero pueden suscribirse para utilizar Pangram en grandes volúmenes. Si un centro educativo adquiere una licencia institucional, todos los profesores y el personal docente tendrán acceso ilimitado a Pangram.

Turnitin solo está disponible mediante una licencia institucional. No hay forma de probar el producto de detección de IA de Turnitin de forma gratuita sin suscribirse a su licencia institucional.

¿Cómo puedo utilizar Pangram?

Hay tres formas principales de utilizar Pangram:

1. Panel de control: Puedes utilizar el panel de control gratuito de Pangram para pegar texto o subir documentos y comprobar si contienen contenido generado por IA. Desde el panel de control, podrás ver un informe detallado sobre la redacción generada por IA, que incluye un gráfico que muestra dónde se ha detectado la IA y un resumen de las frases más habituales generadas por IA.
2. Extensión de Chrome: puedes utilizar la extensión de Chrome «Pangram» para comprobar si un texto contiene contenido generado por IA seleccionándolo y eligiendo «Comprobar contenido generado por IA» en el menú contextual. Esto funciona en cualquier sitio de Internet, incluidos Canvas Speedgrader y los foros de debate. La extensión también añade un botón en Google Docs para comprobar al instante si el documento contiene contenido generado por IA.
3. Integración con LMS: Pangram ofrece diversas integraciones, entre las que se incluyen las de Canvas y Google Classroom. Estas solo están disponibles mediante una licencia institucional. Haz clic aquí para ver una lista actualizada de nuestras integraciones.

¿Qué idiomas se admiten?

Pangram es compatible con 24 idiomas, entre los que se incluyen el inglés, el árabe, el chino, el neerlandés, el checo, el francés, el alemán, el griego, el hindi, el húngaro, el italiano, el japonés, el coreano, el persa, el polaco, el portugués, el rumano, el ruso, el español, el sueco, el turco, el ucraniano, el urdu y el vietnamita.

Turnitin está disponible en tres idiomas: inglés, japonés y español.

Resumen: Pangram frente a Turnitin

En general, tanto Pangram como Turnitin han aportado pruebas sólidas que respaldan sus afirmaciones sobre la precisión, pero Pangram es dos órdenes de magnitud más preciso que Turnitin en comparación con otros detectores basados en IA. Pangram admite 24 idiomas, frente a los tres que admite Turnitin. Pangram ofrece un panel de control gratuito, una extensión para Chrome y licencias individuales o institucionales, mientras que Turnitin solo ofrece licencias institucionales.

¿Estás analizando el panorama general de los detectores para la educación superior? Descubre qué detector de IA deberían utilizar las universidades.