¿Qué significa tu puntuación de detección de IA?
Pasas el ensayo de un estudiante o el artículo de un autónomo por un detector de IA. En la pantalla aparece un número grande y en negrita: 65 % de IA. ¿Qué haces a continuación?
Las puntuaciones de detección de IA no se parecen a una rúbrica de calificación tradicional, en la que el «aprobado» y el «suspenso» son evidentes. La diferencia entre «generado íntegramente por IA» y «editado por IA» está cambiando, al igual que nuestros sistemas de detección en Pangram.
Esta guía explica en un lenguaje sencillo los conceptos relacionados con los porcentajes. Repasamos cómo calcula los porcentajes un verificador de IA, qué significan los intervalos de confianza y cómo determinar el umbral adecuado del detector de IA para tomar medidas.
¿Qué indica realmente ese porcentaje?
Si escaneas un documento con una herramienta de detección de IA, obtendrás una puntuación porcentual de IA. «50 %», por ejemplo. Este porcentaje no significa que el 50 % del documento sea falso o haya sido generado por IA. Significa que, según el verificador de porcentaje de IA, el 50 % de este documento contiene texto generado por IA o redactado con la ayuda de IA.
Ejemplo de una puntuación de detección de IA
Las herramientas avanzadas de detección basada en IA no tratan un documento como un único bloque gigante de texto. Por el contrario, estas herramientas dividen el texto en segmentos, frases y párrafos. A estos fragmentos individuales se les asigna una puntuación como segmentos.
Si obtienes una puntuación del 30 % en un trabajo de 10 páginas, es probable que eso signifique que aproximadamente tres páginas del texto presentan los patrones típicos de un modelo de lenguaje grande (LLM). Estos patrones incluyen, entre otras cosas, la ausencia de irregularidad y una sintaxis predecible. La puntuación no significa que el 30 % del documento haya sido generado por IA.
Cómo interpretar el espectro de puntuación de IA
Si utilizas un detector de IA y un documento concreto obtiene una puntuación baja (por ejemplo, un 30 % generado por IA), esto suele indicar que se trata de un documento híbrido. Un documento híbrido suele estar escrito por una persona y luego editado con la ayuda de una herramienta de IA. Por otro lado, una puntuación alta, como un 85 %, sugiere claramente que el texto ha sido generado íntegramente por IA.
Mezcla de contenido generado por IA y contenido escrito por personas
La puntuación de detección de IA entre baja y media suele darse cuando un autor:
- Utiliza herramientas como Grammarly.
- Le pide a un modelo de lenguaje grande (LLM), como ChatGPT, que «suavice» los párrafos que ha escrito.
- Utiliza la inteligencia artificial para traducir su lengua materna al inglés.
Un porcentaje elevado de detección de IA suele darse cuando el «ADN lingüístico» de un texto es, en su mayor parte, generado por IA. Por lo general, esto significa que el autor de ese texto introdujo una indicación en un modelo de lenguaje grande (LLM) y copió y pegó el resultado directo de dicho modelo, tras realizar algunas modificaciones.
¿Son precisos los verificadores de puntuación basados en IA?
No podemos validar los resultados de otras herramientas, pero los verificadores de IA de nivel empresarial, como Pangram, son muy precisos (99,98 %). Para ayudarte a evaluar su precisión, la mayoría de los verificadores de IA de nivel empresarial ofrecen un «intervalo de confianza» que indica el grado de certeza del modelo respecto a su propio porcentaje de detección.
La respuesta a la pregunta «¿Son precisos los verificadores de IA?» se basa en dos hechos: para determinar si un texto ha sido generado por IA se utilizan modelos estadísticos, y estos modelos funcionan con probabilidades en lugar de con certezas absolutas.
Una marca de «alta confianza» indica que el texto coincide con patrones conocidos de los datos de entrenamiento de los modelos de lenguaje grande (LLM). Y, dado que el texto coincide con esos patrones, el porcentaje de detección de IA es razonable. Esto no significa que el porcentaje de detección de IA sea absolutamente exacto, sino que probablemente lo sea.
Una indicación de «baja confianza» significa que el texto presenta algunos rasgos propios de la IA, pero que el modelo no dispone de datos suficientes para emitir un veredicto definitivo. Muchas de estas indicaciones de «baja confianza» se deben a fragmentos de texto demasiado breves para poder realizar una evaluación precisa.
Si utilizas un verificador de IA que ofrece una evaluación simplista del contenido escrito, una herramienta como Pangram puede ayudarte a identificar las secciones concretas que delatan la redacción generada por IA.
El resultado «mixto»
La realidad más habitual en los flujos de trabajo actuales es el contenido «mixto», que combina la redacción y la edición humanas con las realizadas por IA. Por eso, herramientas como Pangram 3.0 clasifican el texto en un espectro: totalmente humano, con asistencia ligera de IA, con asistencia moderada de IA y generado íntegramente por IA.
Resultados mixtos de la puntuación de IA
Es importante clasificar el texto generado por IA en un espectro porque un alumno que obtenga una puntuación del 10 % en la categoría «Ligeramente asistido por IA», solo por haber utilizado un corrector ortográfico, no debería recibir el mismo trato que otro que haya entregado un ensayo con un 95 % de «Generado íntegramente por IA». El resaltado te muestra exactamente qué partes se han creado con IA.
¿A partir de qué umbrales de puntuación de IA conviene tomar medidas?
No existe un «número mágico» universal que requiera la adopción de medidas correctivas, pero, como buena práctica, las puntuaciones de detección de IA inferiores al 20 % suelen indicar el uso de herramientas estándar de asistencia a la redacción digital. Las puntuaciones superiores al 60 % suelen justificar una conversación directa sobre la autenticidad del texto de una persona.
Debes establecer un umbral para el detector de IA que se ajuste a tus políticas sobre el uso de la IA. Por ejemplo, si tu política permite «el uso de la IA para generar ideas, pero no para redactar el texto en sí», una puntuación del 40 % requerirá una investigación. O bien, si tu política establece que «no se debe utilizar la IA en ninguna fase del proceso de redacción», es probable que incluso una puntuación del 15 % requiera una investigación.
La puntuación de detección de IA que recibes es una herramienta de diagnóstico. Si se activa una puntuación alta, puedes utilizar los segmentos resaltados de Pangram y el informe«Frases de IA»para sentarte con el autor y pedirle que te explique su proceso de redacción. Esto puede dar lugar a aclaraciones, orientación y al resultado que ambos buscáis.
La detección de IA no es una cuestión binaria de «aprobado/suspenso»
Pangram es una herramienta analítica sofisticada que ofrece información detallada sobre los procesos que definen la escritura actual. Al comprender exactamente qué significa una puntuación de IA, los profesionales pueden mantener con confianza los estándares de integridad y, al mismo tiempo, tratar a los escritores con equidad.
Deja de adivinar qué significan las cifras. Obtén información detallada y clara sobre la autoría de los textos con el análisis de segmentos de Pangram.
para recibir nuestras actualizaciones.
