¿Qué significa tu puntuación de detección de IA?

Pasas el ensayo de un estudiante o el artículo de un autónomo por un detector de IA. En la pantalla aparece un número grande y en negrita: 65 % de IA. ¿Qué haces a continuación?

Las puntuaciones de detección de IA no se parecen a una rúbrica de calificación tradicional, en la que el «aprobado» y el «suspenso» son evidentes. La diferencia entre «generado íntegramente por IA» y «editado por IA» está en constante evolución, al igual que nuestros sistemas de detección en Pangram.

Esta guía explica en un lenguaje sencillo los conceptos relacionados con los porcentajes. Repasamos cómo calcula los porcentajes un verificador de IA, qué significan los intervalos de confianza y cómo determinar el umbral adecuado del detector de IA para tomar medidas.

¿Qué indica realmente ese porcentaje?

Si escaneas un documento con una herramienta de detección de IA, obtendrás una puntuación porcentual de IA. «50 %», por ejemplo. Por lo tanto, según el verificador de porcentaje de IA, el 50 % de este documento contiene texto generado por IA o asistido por IA.

Ejemplo de una puntuación de detección de IA

Las herramientas avanzadas de detección basadas en IA no tratan un documento como un único bloque gigante de texto. Por el contrario, estas herramientas dividen el texto en segmentos, frases y párrafos. A estos fragmentos individuales se les asigna una puntuación como segmentos.

Si obtienes una puntuación del 30 % en un trabajo de 10 páginas, es probable que eso signifique que aproximadamente tres páginas del texto presentan los patrones típicos de un modelo de lenguaje grande (LLM).

Cómo interpretar el espectro de puntuación de IA

Si utilizas un detector de IA y un documento concreto obtiene una puntuación baja (por ejemplo, un 30 % generado por IA), esto suele indicar que se trata de un documento híbrido. Un documento híbrido suele estar escrito por una persona y luego editado con la ayuda de una herramienta de IA, o bien se le ha añadido texto generado por IA.

Mezcla de contenido generado por IA y contenido escrito por personas

A menudo se genera una puntuación de detección asistida por IA cuando un autor:

• Utiliza herramientas como Grammarly.
• Le pide a un modelo de lenguaje grande (LLM), como ChatGPT, que «suavice» los párrafos que ha escrito.
• Utiliza la inteligencia artificial para traducir su lengua materna al inglés.

Un porcentaje elevado de detección de IA suele darse cuando el «ADN lingüístico» de un texto es, en su mayor parte, generado por IA. Por lo general, esto significa que el autor de ese texto introdujo una indicación en un modelo de lenguaje grande (LLM) y copió y pegó el resultado directo de dicho modelo, tras realizar algunas modificaciones.

¿Son precisos los verificadores de puntuación basados en IA?

No podemos validar los resultados de otras herramientas, pero los verificadores de IA de nivel empresarial, como Pangram, son muy precisos (99,98 %). Para ayudarte a evaluar su precisión, la mayoría de los verificadores de IA de nivel empresarial ofrecen un indicador de «confianza» que muestra el grado de certeza del modelo respecto a su propio porcentaje de detección.

La respuesta a la pregunta «¿Son fiables los verificadores de IA?» se basa en dos hechos: para determinar si un texto ha sido generado por IA se utilizan modelos estadísticos, y estos modelos funcionan con probabilidades en lugar de con certezas absolutas.

Si utilizas un verificador de IA que ofrece una valoración simplista del contenido escrito, una herramienta como Pangram puede ayudarte a identificar las secciones concretas que delatan la redacción generada por IA.

El resultado «mixto»

Una realidad de los flujos de trabajo modernos es el contenido «mixto», que combina la redacción y la edición humanas con las realizadas por IA. Por eso, herramientas como Pangram 3.0 (y versiones posteriores) clasifican el texto en un espectro: totalmente humano, con asistencia ligera de IA, con asistencia moderada de IA y generado íntegramente por IA.

Resultados mixtos de la puntuación de IA

Es importante clasificar el texto generado por IA en una escala, ya que un texto con una puntuación del 10 % en la categoría «Ligeramente asistido por IA» podría recibir un trato diferente en el ámbito escolar o en las políticas editoriales que un ensayo con una puntuación del 95 % en la categoría «Totalmente generado por IA». El resaltado del segmento te muestra exactamente qué partes se han creado con IA.

¿A partir de qué umbrales de puntuación de IA se debe tomar medidas?

No existe un «número mágico» universal que obligue a tomar medidas correctivas, pero, como buena práctica, las puntuaciones de detección de IA inferiores al 20 % suelen indicar el uso de herramientas estándar de asistencia a la redacción digital. Las puntuaciones superiores al 60 % suelen justificar una conversación directa sobre la autenticidad del texto de una persona.

Debes establecer un umbral para el detector de IA que se ajuste a tus políticas sobre IA. Por ejemplo, si tu política permite «el uso de la IA para generar ideas, pero no para redactar el texto en sí», una puntuación del 40 % podría requerir una investigación. O bien, si tu política establece que «no se debe utilizar la IA en ninguna fase del proceso de redacción», es probable que incluso una puntuación del 15 % requiera una investigación.

La puntuación de detección de IA que recibes es una herramienta de diagnóstico. Si se activa una puntuación alta, puedes utilizar los segmentos resaltados de Pangram y el informe«Frases de IA»para reunirte con el autor y pedirle que te explique su proceso de redacción. Esto puede dar lugar a aclaraciones, orientación y al resultado que ambos buscáis.

La detección mediante IA no es una cuestión binaria de «aprobado/suspenso»

Pangram es una herramienta analítica sofisticada que ofrece una visión clara de los procesos que definen la escritura actual. Al comprender exactamente qué significa una puntuación de IA, los profesionales pueden mantener con confianza los estándares de integridad y, al mismo tiempo, tratar a los escritores con equidad.

Deja de adivinar qué significan las cifras. Obtén información detallada y clara sobre la autoría de los textos con el análisis de segmentos de Pangram.

Escanea tu documento