Cómo detectar textos escritos por IA

ChatGPT escribe 2000 palabras sin sentido en cuestión de segundos

ChatGPT y otros grandes modelos de lenguaje (LLM), a los que se suele referirse en conjunto como «IA», se han convertido en herramientas cada vez más populares. Su uso más habitual es como asistente, permitiendo al usuario chatear directamente con el modelo de lenguaje. Sin embargo, los LLM se utilizan cada vez más para crear «contenido basura», un término que designa el contenido generado por IA que es indeseado o de baja calidad. Un ejemplo de «slop» de IA es una entrada de blog escrita íntegramente por ChatGPT y publicada en Internet con el fin de generar tráfico de búsqueda. Otro ejemplo de «slop» de IA es una empresa que intenta mejorar sus valoraciones utilizando la IA para escribir varias reseñas extensas y elogiosas.

Pangram Labs ha entrenado un modelo de aprendizaje automático de alta precisión para clasificar textos generados por IA. Al finalizar el entrenamiento, el modelo ha analizado cientos de millones de ejemplos de textos escritos por humanos y generados por IA. Esta publicación te ayudará a desarrollar tu propia intuición para detectar textos generados por IA, a ser posible con menos ejemplos.

He hablado con docentes, asesores de admisión y editores, todos los cuales se han visto obligados a adquirir esta habilidad en el último año debido al enorme aumento del uso de la IA. Este artículo es una recopilación de la información que he obtenido de ellos, así como de las técnicas que utilizamos internamente en Pangram para poner al día a los nuevos empleados. Al fin y al cabo, no se puede entrenar un buen modelo de aprendizaje automático si no se está familiarizado con la tarea en sí.

En resumen

• Busca expresiones habituales relacionadas con la IA.
• Pídele a ChatGPT que genere varios documentos del tipo que estás intentando detectar y busca similitudes.
• Intenta hacer que la redacción generada por IA pase desapercibida y busca lo que llama la atención.
• Utiliza un verificador de plagio para afinar tu intuición.

Elementos de la escritura

Tema

Por lo general, la IA no elige su propio tema, sino que se le pide que escriba sobre algo concreto. Aun así, la IA mostrará un sesgo hacia los subtemas que ella misma elija. Por ejemplo, si le pido a ChatGPT que me escriba un ensayo sobre el simbolismo en Moby Dick, es probable que elija el mismo conjunto de temas más obvios. Sin embargo, cualquier estudiante podría pedirle a ChatGPT que escriba específicamente sobre una determinada forma de simbolismo en el libro, y ChatGPT sería capaz de escribir sobre ello. Por esa razón, no le doy demasiada importancia al tema cuando evalúo si un texto es de IA o no.

Estructura

Cuando se le pide que redacte documentos completos, la IA suele recurrir por defecto a una estructura determinada. Si le pides que escriba una entrada de blog, empezará con una introducción, 3 o 4 párrafos, algunas viñetas y una conclusión que resuma la entrada. Del mismo modo, si quiero que la IA me escriba una reseña de un restaurante, a menudo empezará diciendo «Recientemente tuve el placer de cenar en ____», hablará de la comida, el ambiente y el servicio, y concluirá con un entusiasta «Muy recomendable». Aunque la estructura predeterminada también se puede modificar («Escríbeme una entrada de blog de 20 párrafos», «Que la reseña sea breve, no menciones el nombre del restaurante»), esto requiere un esfuerzo que muchos usuarios no están dispuestos a realizar. Cuando la redacción tiene una estructura similar a la de otros textos generados por IA, es una clara señal inicial de que hay que profundizar más.

Estilo

En el póquer, el término «tell» se refiere a una señal que alguien da sin darse cuenta cuando hace un farol. Por ejemplo, cuando alguien está nervioso, puede jugar con sus gafas, revelando así información sobre sus apuestas. Del mismo modo, en Pangram nos referimos a ciertas palabras o frases como «tells de IA»: se trata de palabras o frases que ChatGPT u otros modelos de lenguaje utilizan de forma desproporcionada, y que constituyen una señal muy clara del origen de la IA una vez que empiezas a fijarte en ellas.

«Delve» es un ejemplo extremo de un indicio de IA, ya que ChatGPT lo utiliza con mucha más frecuencia de lo que sería habitual en el inglés americano estándar.

También he observado que «Recientemente tuve el placer de» es una frase muy habitual en las reseñas de restaurantes, y ChatGPT siempre se las arregla para incluir la palabra «entusiasmado» si le pides que redacte una carta de presentación. Incluso con indicaciones muy detalladas, los modelos de lenguaje grande (LLM) se rigen en gran medida por sus propias tendencias estilísticas. Por ese motivo, el estilo es un indicador muy importante en el que me fijo especialmente.

Aquí tienes una lista de frases habituales sobre IA que pueden servirte de punto de partida. (Fuentes: reddit, aiphrasefinder.com)

• «Es importante señalar que»
• «Sumérgete en»
• «Tapiz»
• «Vibrante»
• «Animado»
• «En resumen» o «En conclusión»
• «Recuerda que...»
• «Sumérgete en»
• «Orientarse», es decir, «orientarse en el panorama», «orientarse en las complejidades de»
• «Paisaje», es decir, «el paisaje de...», especialmente «un paisaje en constante evolución»
• «Testamento», es decir, «un testimonio de...»
• «En el mundo de»
• «Reino»
• «Embarcarse»
• «Sinfonía»
• «Abrazo»
• «Tanto si eres X como si eres Y»
• «En lo que respecta a»

Técnicas para mejorar tu intuición

Las frases son un buen punto de partida, pero a menudo la IA genera textos que, aunque se nota claramente que han sido escritos por una IA, no utilizan ninguna de estas frases. Para mejorar esta habilidad, tendremos que dedicar algo de tiempo a estudiar realmente la escritura generada por IA.

Estudiar la redacción con IA

Puede que a algunos les resulte desagradable y a otros emocionante, pero si quieres identificar la IA, tienes que saber cómo es la redacción generada por IA. Es útil tener en mente un tipo concreto de texto que quieras ser capaz de identificar. Supongamos que quiero llegar a ser realmente bueno identificando correos electrónicos generados por IA. Lo primero que hay que hacer es pedirle a ChatGPT que escriba un correo electrónico de presentación en frío. Un correo de agradecimiento. Un correo de marketing. Repite esto varias veces, cambiando la indicación y anotando las similitudes entre cada iteración. A continuación, vuelve a intentarlo con Claude y Gemini, sin dejar de buscar patrones.

Asunto: Estudio de oportunidades de colaboración con OpenAI

Estimado [nombre del fundador],

Espero que se encuentre bien. Me llamo [Su nombre] y soy [Su cargo] en [Su empresa/organización], donde nos especializamos en [describa brevemente su campo o especialidad]. He estado siguiendo los avances revolucionarios de OpenAI en el campo de la inteligencia artificial y estoy realmente impresionado por su compromiso con el desarrollo ético de la IA y por el impacto transformador de sus proyectos.

Me pongo en contacto con usted para explorar posibles oportunidades de colaboración entre nuestras organizaciones. Creo que la combinación de las capacidades de IA de OpenAI con nuestra experiencia en [su campo o tecnología específica] podría dar lugar a soluciones innovadoras que impulsen aún más el avance en este ámbito y generen un valor sustancial.

Le agradecería que pudiéramos hablar más detenidamente sobre este tema y estudiar cómo podríamos colaborar para alcanzar nuestros objetivos comunes. ¿Podríamos concertar una breve llamada o una reunión cuando le venga bien? Soy flexible en cuanto a horarios y me adaptaré con mucho gusto a su agenda.

Gracias por considerar esta oportunidad. Espero con interés la posibilidad de trabajar juntos y contribuir a los interesantes avances de OpenAI.

Un cordial saludo,

[Tu nombre completo]

[Tu cargo]

[Tu empresa/organización]

[Datos de contacto]

[Perfil de LinkedIn o sitio web] (opcional)

Jugar a juegos de competición

Cuando pusimos en marcha Pangram Labs, realizamos un montón de lo que llamábamos «The Human Baseline». Las reglas son sencillas. Se elige un tema. Nuestra primera prueba de referencia humana se centró en los ensayos de admisión a la universidad. La persona A consigue cinco ensayos de admisión a la universidad escritos por personas. A continuación, la persona A utiliza ChatGPT u otro modelo de lenguaje grande (LLM) para crear cinco ensayos escritos por IA. Los mezcla y presenta los diez ensayos como prueba para que la persona B clasifique cuáles han sido escritos por IA. La persona B puede realizar la prueba y explicar su razonamiento. Esto crea una referencia sobre la detectabilidad de estos ensayos y ayuda a desarrollar heurísticas.

Para ir un paso más allá, la persona B puede utilizar sus conclusiones para crear un modelo de referencia humano más complejo, proporcionando más información al modelo de lenguaje grande (LLM) o pidiéndole que evite las frases que lo delaten. Este intercambio de ideas puede mejorar aún más tu intuición y ayudarte a identificar qué patrones de la IA siguen apareciendo.

Como ejemplo de referencia humana, echa un vistazo a estas dos reseñas. Una es de Yelp y la otra es de GPT-4.

Por si no queda claro, el primer ejemplo lo ha escrito la IA y el segundo, un humano. He especificado tanto el tema (Textbook Cafe en Brooklyn) como la estructura (un párrafo), pero el estilo de ChatGPT es tan característico que sigue siendo evidente. ¡Intenta crear uno tú mismo y compártelo con un amigo!

Utiliza herramientas diseñadas para la detección de IA

Pangram Labs ha dedicado innumerables horas a entrenar modelos de aprendizaje automático que han aprendido de cientos de millones de documentos para distinguir de la mejor manera posible entre el contenido escrito por IA y el escrito por humanos. Así que, ya que estamos, voy a hacer un poco de autopromoción. Nuestro panel de control te permite pegar texto o subir documentos, así que si no estás seguro y quieres algo más concreto que la intuición para respaldarte, esto te dará una clasificación y una puntuación de confianza. El panel de control también contiene un análisis más profundo que muestra qué palabras o frases proporcionaron la mayor señal en la clasificación. Yo personalmente uso nuestra herramienta todo el tiempo cuando veo algo en Internet que me hace sospechar, y espero que también te resulte útil a ti.

¿Tienes alguna pregunta o comentario? ¿Has encontrado algún error garrafal de la IA y quieres compartirlo? Escríbeme en Twitter/X a @max_spero_.

¿Quieres poner a prueba tu intuición? Prueba la herramienta de detección de IA de Pangram para analizar cualquier texto en busca de contenido generado por IA.