Pangram frente a Turnitin: ¿cuál ofrece una mejor detección mediante IA?

Si estás mínimamente familiarizado con el ámbito de la integridad académica, probablemente conozcas Turnitin. Es el líder indiscutible en el mundo académico y, en lo que respecta a la detección de plagio, con razón. 

Los centros educativos de todo el país utilizan Turnitin para detectar plagios en los trabajos de los alumnos, y cabría pensar que, dado que ya forma parte importante de sus procesos de trabajo, aprovechar sus funciones de detección mediante inteligencia artificial sería el siguiente paso lógico. 

Sin embargo, aunque el sistema de detección de IA de Turnitin puede resultar útil en caso de apuro, los contenidos generados por IA van mucho, mucho más allá del aula. Hemos descubierto que el 67 % de las personas que leen en Internet se han topado con información engañosa generada por IA y, sin embargo, este mismo grupo sigue preocupado por las tasas de falsos positivos. 

La precisión sigue siendo importante tanto dentro como fuera del aula. 

Por eso, al comparar Pangram y Turnitin, la precisión fue el aspecto más importante que evaluamos. 

Hoy te voy a explicar en detalle nuestro estudio, en el que se analizan el rendimiento en la detección, las tasas de falsos positivos, los idiomas compatibles, la accesibilidad, los precios y las opciones de implementación, para que puedas determinar qué plataforma se adapta mejor a tus necesidades. 

Pangram frente a Turnitin: el resumen

Aunque a primera vista parecen similares, Pangram y Turnitin abordan la detección mediante IA con prioridades fundamentalmente diferentes. Turnitin es un ecosistema más amplio que muchas instituciones académicas ya han implantado y que también incluye funciones de detección mediante IA. 

Pangram, por su parte, se diseñó específicamente para dar prioridad absoluta a la detección mediante IA. 

¿Qué es un pangrama?

Pangram es una plataforma de detección de IA creada para docentes, editoriales, equipos de admisión y, en definitiva, cualquier persona u organización que necesite evaluar el origen de un texto. Si necesitas saber si se ha utilizado IA para crear algo, podemos ayudarte. 

Nuestros métodos son lo que nos diferencia de otros detectores. Las primeras herramientas de detección basadas en IA se centraban excesivamente en mediciones superficiales, como la perplejidad y la irregularidad. 

Por este motivo, hemos creado Pangram para abordar dos de los mayores problemas en la detección de IA: los falsos positivos y el contenido generado por IA con un toque humano. 

Nuestros modelos se han entrenado con millones de ejemplos de textos escritos tanto por personas como generados por IA, lo que les permite identificar correctamente el texto generado sin marcar erróneamente los textos escritos por personas. 

¿El resultado? Un detector diseñado para analizar el documento en su totalidad, en lugar de limitarse a un puñado de señales aisladas. 

En la actualidad, Pangram permite la detección en 24 idiomas y ofrece una plataforma web, una extensión para Chrome, integraciones con sistemas de gestión del aprendizaje (LMS) y una API empresarial para organizaciones que necesitan verificar contenidos a gran escala.

¿Qué es Turnitin?

Si has pasado por el sistema universitario en las últimas dos décadas, ¡seguro que conoces este nombre! Turnitin es una plataforma de integridad académica conocida sobre todo por su software de detección de plagio. Su última novedad llegó en 2023, cuando la empresa amplió sus servicios para incluir la detección de textos generados por IA (una decisión que tenía mucho sentido). 

Muchas escuelas ya utilizaban Turnitin para comparar los trabajos entregados por los alumnos con amplias bases de datos de trabajos publicados y presentados. La incorporación de la detección de IA permitió a las instituciones evaluar simultáneamente tanto el plagio como los textos generados por IA.

Por lo tanto, Turnitin suele incorporarse como parte de un programa más amplio de integridad académica, en lugar de utilizarse como una herramienta independiente de detección de plagio.

Su público principal siguen siendo los centros de educación primaria y secundaria y las universidades que necesitan sistemas centralizados para gestionar la integridad académica a gran escala.

Precisión

Para cualquiera que esté evaluando una herramienta de detección de IA, la precisión es LA métrica que hay que tener en cuenta. Por suerte, en el caso de estas dos herramientas, nadie tiene que hacer conjeturas sobre su precisión. Tanto Pangram como Turnitin han publicado informes técnicos, por lo que podemos comparar las cifras directamente. 

Antes de entrar en detalle, conviene aclarar qué se entiende por «precisión» en este contexto, ya que es un término que se utiliza con mucha frecuencia en el ámbito de la detección de IA. En realidad, solo hay dos métricas relevantes, por lo que es fácil de entender. 

• Tasa de recuperación: ¿Con qué frecuencia identifica correctamente el detector el contenido generado por IA? 

• Índice de falsos positivos: ¿Con qué frecuencia el detector identifica erróneamente la escritura humana como generada por IA?

La mayoría de los detectores de IA que hay actualmente en el mercado se inclinan demasiado hacia un lado u otro. Es fácil destacar en un aspecto, pero hacerlo en ambos es mucho más difícil. Afortunadamente, tanto Pangram como Turnitin obtienen resultados bastante buenos en este ámbito. 

Gracias al informe técnico de Turnitin, sabemos que los investigadores obtuvieron una tasa de detección del 76,8 % en contenidos generados por GPT-4 al probar su herramienta. Esto significa que, en las pruebas técnicas, Turnitin no detectó uno de cada cuatro trabajos generados por IA.

Del mismo modo, el informe técnico de Pangram reveló que esta herramienta presentaba una tasa de detección superior al 99,9 % en la misma familia de modelos. Y para las instituciones que revisan grandes volúmenes de trabajos de los estudiantes, se trata de una diferencia bastante considerable entre ambas herramientas, ya que Pangram detecta un porcentaje mucho mayor de contenido generado. 

Las afirmaciones sobre la precisión, como las mencionadas anteriormente, solo son útiles si se someten a escrutinio y se comprueban y revisan periódicamente. Por eso publicamos datos comparativos y apoyamos la evaluación independiente a través de colaboraciones académicas y programas de acceso para investigadores. Varios estudios realizados por terceros han evaluado directamente el rendimiento de Pangram. 

La cuestión se vuelve aún más interesante cuando se analizan los falsos positivos. Turnitin indica una tasa de falsos positivos de aproximadamente el 0,51 %, es decir, alrededor de 1 de cada 200 documentos. Las pruebas comparativas de Pangram indican una tasa de falsos positivos de 1 de cada 10 000 en general, y los trabajos académicos obtienen resultados aún mejores, con una tasa de aproximadamente 1 de cada 25 000.

Al comparar los datos de referencia disponibles, el ganador en cuanto a precisión resulta evidente. Pangram detecta un mayor porcentaje de contenido generado por IA y, al mismo tiempo, genera muchos menos falsos positivos.

Índice de falsos positivos

Que falte texto generado por IA resulta frustrante, pero acusar erróneamente a un estudiante de copiar en un caso de integridad académica es, en mi opinión, mucho peor.

En un aula, una redacción o un lugar de trabajo, un falso positivo puede tener consecuencias reales. Se puede acusar a un estudiante de falta de honestidad académica, se puede poner en duda el trabajo de un redactor o un editor puede perder la confianza en un artículo legítimo. Si los usuarios no pueden confiar en los resultados, la precisión del detector pierde gran parte de su relevancia.

Según Turnitin, la plataforma registra una tasa de falsos positivos del 0,51 %, es decir, aproximadamente 1 de cada 200. Esto significa que, por cada 200 documentos evaluados, se marca erróneamente como plagiado aproximadamente un documento auténtico.

Las pruebas comparativas publicadas por Pangram indican una tasa de falsos positivos global de 1 de cada 10 000. En un conjunto de datos de ensayos académicos comparable a la evaluación de Turnitin, esa tasa se reduce aún más, hasta 1 de cada 25 000.

Estas cifras han sido verificadas de forma independiente por la Universidad de Chicago, por lo que podemos respaldarlas cuando las instituciones utilizan Pangram para tomar decisiones sobre el trabajo de los estudiantes.

Sesgo ESL

Una de las principales preocupaciones actuales en relación con la detección de la IA es si los autores cuyo idioma materno no es el inglés tienen más probabilidades de ser señalados erróneamente como usuarios de IA. Dado que los hablantes no nativos de inglés suelen escribir de forma que obtienen puntuaciones de perplejidad más bajas, la escritura humana puede parecer a veces estadísticamente similar al texto generado por IA.

Todos los detectores de IA afirman que reducir el sesgo relacionado con el inglés como segunda lengua (ESL) es una prioridad. Pero la verdadera pregunta es si las cifras respaldan esa afirmación.

Durante nuestra evaluación de ESL, el modelo mantuvo índices de falsos positivos extremadamente bajos tanto en los conjuntos de datos de ESL como en los que no eran de ESL:

Estos resultados concuerdan con el enfoque más amplio de Pangram respecto a la detección de IA, que evalúa patrones a nivel de documento en lugar de basarse en elecciones léxicas individuales o en plantillas de redacción rígidas.

Si quieres conocer más a fondo la investigación en la que se basa, consulta nuestro análisis sobre la precisión de la detección mediante IA en la redacción de hablantes de inglés como segunda lengua y nuestras capacidades de detección multilingüe mediante IA.

Disponibilidad

Aunque quizá resulte obvio, ¡un detector de IA no sirve de nada si no se puede utilizar! Esta es una de las principales diferencias entre Pangram y Turnitin, y merece la pena mencionarla aquí porque muchos docentes necesitan una solución individual.

Pangram es para todo el mundo: educadores, editoriales, equipos jurídicos, revisores de contenidos empresariales… lo que se te ocurra. Crea una cuenta y empieza a utilizar la plataforma de inmediato; incluye cuatro análisis gratuitos al día. Anímate y pruébala ahora mismo si aún no lo has hecho. 

Turnitin, por su parte, es difícil de acceder a menos que se haya concedido a nivel institucional. Los docentes a título individual no suelen tener mucha suerte en este sentido. El acceso a Turnitin está reservado a quienes disponen de una licencia institucional, que suele gestionar un centro educativo o una universidad.

Sin embargo, Pangram no es solo para particulares. Las universidades y los distritos escolares también pueden implementar Pangram a gran escala mediante licencias institucionales, lo que proporciona al profesorado y al personal acceso ilimitado, además de integraciones con sistemas de gestión del aprendizaje (LMS).

En otras palabras, Pangram está disponible para uso individual, al tiempo que sigue siendo compatible con las implementaciones institucionales para las que se ha diseñado Turnitin. 

Precios

En la misma línea, Turnitin es igual de reservado en cuanto a sus precios. Si no eres una institución, no tendrás acceso a la información sobre precios. 

Pangram facilita el acceso a nuestros precios y su comparación. Los usuarios particulares pueden empezar a utilizar el servicio de forma gratuita con cuatro análisis al día, y los planes de pago comienzan a partir de 15 dólares al mes, con hasta 600 análisis mediante IA. También ofrecemos licencias institucionales para centros educativos y organizaciones que necesiten un acceso más amplio, de modo que podamos satisfacer todo tipo de necesidades.

Sin embargo, Turnitin no hace públicos sus precios. Las licencias institucionales se ofrecen mediante presupuesto, y los precios suelen negociarse directamente con los centros educativos. No existe ningún plan individual ni opción de autoservicio para quienes deseen probar el detector antes de tomar una decisión de compra, por lo que no podemos pronunciarnos con total certeza sobre sus precios.

Idiomas disponibles 

La compatibilidad con los idiomas es una de las diferencias prácticas más significativas entre ambas plataformas.

Pangram es compatible con 24 idiomas, entre los que se incluyen el inglés, el árabe, el chino, el neerlandés, el checo, el francés, el alemán, el griego, el hindi, el húngaro, el italiano, el japonés, el coreano, el persa, el polaco, el portugués, el rumano, el ruso, el español, el sueco, el turco, el ucraniano, el urdu y el vietnamita.

Por su parte, Turnitin admite tres idiomas: inglés, japonés y español. Sin embargo, nuestras funciones de parafraseo mediante IA y de elusión de la detección solo están disponibles para los trabajos presentados en inglés.

Para las instituciones que atienden a un alumnado internacional, o para los equipos empresariales que revisan contenidos en varios idiomas, esa carencia es significativa. Un detector que solo admite tres idiomas crea puntos ciegos, dejando fuera del alcance de la revisión los contenidos generados por IA en idiomas no admitidos.

¿Cómo puedo utilizar Pangram?

Una ventaja que tiene Pangram frente a Turnitin es su flexibilidad. En lugar de limitarse a un único flujo de trabajo, Pangram se puede utilizar de varias formas diferentes, dependiendo de cómo revises el contenido:

• Panel de control: Puedes utilizar el panel de control gratuito de Pangram para pegar texto o subir documentos y comprobar si contienen contenido generado por IA. Desde el panel de control, puedes ver un informe detallado sobre el contenido generado por IA, que incluye un gráfico que muestra dónde se ha detectado la IA y destaca las frases más habituales generadas por IA.

• Extensión de Chrome: Puedes utilizar la extensión de Chrome «Pangram» para comprobar si un texto contiene contenido generado por IA seleccionándolo y eligiendo «Comprobar contenido generado por IA» en el menú contextual. Funciona en cualquier sitio de Internet, incluidos Canvas Speedgrader y los foros de debate. La extensión también añade un botón en Google Docs para comprobar al instante si el documento contiene contenido generado por IA.

• Integración con sistemas de gestión del aprendizaje (LMS): Pangram ofrece diversas integraciones, entre las que se incluyen Canvas y Google Classroom. Estas solo están disponibles mediante una licencia institucional. 

Encuentra la plataforma de detección basada en IA más adecuada para tu equipo

En general, tanto Pangram como Turnitin han aportado pruebas sólidas que respaldan sus afirmaciones sobre la precisión, pero Pangram es dos órdenes de magnitud más preciso que Turnitin en comparación con otros detectores basados en IA.

Si quieres comprobar la diferencia por ti mismo, puedes probar Pangram de forma gratuita. Realiza tu primer análisis con nuestro detector de IA, utiliza la extensión de Chrome para comprobar el contenido mientras navegas o explora nuestra API para empresas para ver cómo funciona.