Cómo detectar textos escritos por IA

ChatGPT escribe 2000 palabras sin sentido en cuestión de segundos.

ChatGPT y otros modelos de lenguaje grandes (LLM), comúnmente denominados en conjunto «IA», se han convertido en herramientas cada vez más populares. Su uso más habitual es como asistente, donde el usuario puede chatear directamente con el modelo de lenguaje. Sin embargo, los LLM se utilizan cada vez más para crear «slop», un término que se refiere al contenido de IA no deseado o generado de forma perezosa. Un ejemplo de contenido AI slop es una entrada de blog escrita íntegramente por ChatGPT y publicada en Internet con el fin de generar tráfico de búsqueda. Otro ejemplo de contenido AI slop es una empresa que intenta mejorar sus valoraciones utilizando la IA para escribir varias reseñas largas y elogiosas.

Pangram Labs ha entrenado un modelo de aprendizaje automático de alta precisión para clasificar textos generados por IA. Al final del entrenamiento, el modelo ha visto cientos de millones de ejemplos de textos escritos por humanos y generados por IA. Esta publicación te ayudará a desarrollar tu propia intuición para detectar textos generados por IA, idealmente con menos ejemplos.

He hablado con educadores, asesores de admisiones y editores que se han visto obligados a aprender esta habilidad en el último año debido al enorme aumento del uso de la IA. Este artículo es una combinación de la información que he aprendido de ellos, así como de las técnicas que utilizamos internamente en Pangram para poner al día a los nuevos empleados. Al fin y al cabo, no se puede entrenar un buen modelo de aprendizaje automático si no se está familiarizado con la tarea en sí.

TL;DR

• Busca frases comunes relacionadas con la IA.
• Pídele a ChatGPT que genere múltiples documentos del tipo que estás tratando de detectar y busca similitudes.
• Intenta crear textos generados por IA que sean indetectables y busca lo que destaca.
• Utiliza un verificador de escritura con IA para perfeccionar tu intuición.

Componentes de la escritura

Tema

Por lo general, la IA no puede elegir su propio tema, sino que se le pide que escriba sobre algo específico. Aun así, la IA mostrará un sesgo hacia los subtemas que elige por sí misma. Por ejemplo, si le pido a ChatGPT que me escriba un ensayo sobre el simbolismo en Moby Dick, es probable que elija el mismo conjunto de temas más obvios. Sin embargo, cualquier estudiante podría pedirle a ChatGPT que escriba específicamente sobre una determinada forma de simbolismo en el libro, y ChatGPT será capaz de escribir sobre ello. Por esa razón, no le doy demasiada importancia al tema cuando evalúo si un texto es de IA o no.

Estructura

Cuando se le pide que redacte documentos completos, la IA suele seguir una estructura predeterminada. Si le pedimos que escriba una entrada de blog, comenzará con una introducción, 3-4 párrafos, algunos puntos clave y una conclusión que resuma la entrada. Del mismo modo, si queremos que la IA nos escriba una reseña de un restaurante, a menudo comenzará diciendo «Recientemente tuve el placer de cenar en ____», hablará de la comida, el ambiente y el servicio, y concluirá con un entusiasta «Muy recomendable». Aunque también se puede evitar la estructura predeterminada («Escríbeme una entrada de blog de 20 párrafos», «Haz una reseña breve, no menciones el nombre del restaurante»), esto requiere un esfuerzo que muchos usuarios no están dispuestos a realizar. Cuando la estructura de un texto es similar a la de otros textos escritos por IA, es una indicación inicial clara de que hay que profundizar más.

Estilo

En el póquer, la palabra «tell» se refiere a una señal que alguien da sin darse cuenta cuando hace un farol. Por ejemplo, cuando alguien está nervioso, puede jugar con sus gafas, revelando información sobre sus apuestas. Del mismo modo, en Pangram nos referimos a ciertas palabras o frases como «AI tells»: son palabras o frases que ChatGPT u otros modelos lingüísticos favorecen de manera desproporcionada, y son una señal muy clara del origen de la IA una vez que empiezas a fijarte en ellas.

«Delve» es un ejemplo extremo de una revelación de IA, ya que ChatGPT lo utiliza con mucha más frecuencia de lo que sería habitual en el inglés americano normal.

También he observado que «Recientemente tuve el placer» es una frase habitual en las reseñas de restaurantes y ChatGPT siempre inserta la palabra «entusiasmado» si le pides que redacte una carta de presentación. Incluso con indicaciones muy precisas, los modelos de lenguaje grande (LLM) se ven muy influidos por tendencias estilísticas internas. Por ese motivo, el estilo es una señal muy importante en la que me baso en gran medida.

Aquí hay una lista de frases comunes de IA que pueden utilizarse como punto de partida. (Fuentes: reddit, aiphrasefinder.com)

• «Es importante señalar»
• «Profundizar en»
• «Tapiz»
• «Vibrante»
• «Bullicioso»
• «En resumen» o «En conclusión»
• «Recuerda que...»
• «Sumérgete en»
• «Navegar», es decir, «navegar por el paisaje» «navegar por las complejidades de»
• «Paisaje», es decir, «El paisaje de...», especialmente «paisaje en constante evolución».
• «Testamento», es decir, «un testimonio de...».
• «En el mundo de»
• «Reino»
• «Embarcarse»
• «Sinfonía»
• «Abrazar»
• «Tanto si eres X como Y»
• «Cuando se trata de»

Técnicas para mejorar tu intuición

Las frases son una buena base, pero a menudo la IA genera textos que son obviamente escritos por IA, pero que no utilizan ninguna de estas frases. Para mejorar esta habilidad, tendremos que dedicar algo de tiempo a estudiar la escritura de la IA.

Estudiar escritura con IA

Puede resultar desagradable para algunos o emocionante para otros, pero si quieres identificar la IA, necesitas saber cómo se ve la escritura generada por IA. Es útil tener un tipo de texto concreto que quieras poder identificar. Supongamos que quiero ser realmente bueno identificando correos electrónicos generados por IA. Lo primero que hay que hacer es pedirle a ChatGPT que escriba un correo electrónico de presentación en frío. Un correo electrónico de agradecimiento. Un correo electrónico de marketing. Repite esto varias veces, cambiando la indicación y anotando las similitudes entre cada iteración. A continuación, vuelve a intentarlo con Claude y Gemini, y sigue buscando patrones.

Asunto: Exploración de oportunidades de colaboración con OpenAI

Estimado [nombre del fundador]:

Espero que se encuentre bien. Mi nombre es [Su nombre] y soy [Su cargo] en [Su empresa/organización], donde nos especializamos en [describa brevemente su campo o experiencia]. He estado siguiendo los avances revolucionarios de OpenAI en inteligencia artificial y estoy realmente impresionado por su compromiso con el desarrollo ético de la IA y el impacto transformador de sus proyectos.

Me pongo en contacto con usted para explorar posibles oportunidades de colaboración entre nuestras organizaciones. Creo que combinar las capacidades de IA de OpenAI con nuestra experiencia en [su campo o tecnología específicos] podría dar lugar a soluciones innovadoras que impulsen aún más el avance en este campo y generen un valor sustancial.

Agradecería tener la oportunidad de discutir esto más a fondo y explorar formas en las que podamos trabajar juntos para alcanzar nuestros objetivos comunes. ¿Podríamos programar una breve llamada o reunión cuando le resulte conveniente? Soy flexible con los horarios y estaré encantado de adaptarme a su agenda.

Gracias por considerar esta oportunidad. Espero con interés la posibilidad de trabajar juntos y contribuir a los emocionantes avances de OpenAI.

Saludos cordiales,

[Tu nombre completo]

[Tu posición]

[Su empresa/organización]

[Información de contacto]

[Perfil de LinkedIn o sitio web] (opcional)

Jugar a juegos competitivos

Cuando empezamos Pangram Labs, hicimos un montón de lo que llamamos «The Human Baseline» (La referencia humana). Las reglas son sencillas. Tú eliges un tema. Nuestra primera referencia humana fueron los ensayos de admisión. La persona A consigue cinco ensayos de admisión a la universidad escritos por humanos. A continuación, la persona A utiliza ChatGPT u otro LLM para crear cinco ensayos escritos por IA. Los mezclan y presentan los diez ensayos como una prueba para que la persona B clasifique cuáles son de IA. La persona B puede realizar la prueba y dar su razonamiento. Esto crea una referencia sobre cómo se pueden detectar estos ensayos y ayuda a desarrollar heurísticas.

Para ir un paso más allá, la persona B puede utilizar sus hallazgos para establecer una referencia humana más difícil, proporcionando más información al LLM o pidiéndole que evite las frases que lo hacen obvio. Estos intercambios pueden mejorar aún más tu intuición y también ayudarte a aprender qué historias de IA siguen surgiendo.

Como ejemplo de referencia humana, echa un vistazo a estas dos reseñas. Una es de Yelp y la otra es de GPT-4.

Si no resulta obvio, el primer ejemplo es IA y el segundo es humano. Especifiqué tanto el tema (Textbook Cafe en Brooklyn) como la estructura (un párrafo), pero el estilo de ChatGPT es tan marcado que aún así resulta obvio. ¡Intenta crear uno propio y compártelo con un amigo!

Utiliza herramientas diseñadas para la detección de IA.

Pangram Labs ha dedicado innumerables horas a entrenar modelos de aprendizaje automático que han aprendido de cientos de millones de documentos a diferenciar mejor el contenido escrito por IA y el escrito por humanos. Así que voy a hacer un poco de autopromoción. Nuestro panel de control te permite pegar texto o cargar documentos, así que si no estás seguro y quieres algo más concreto que la intuición para respaldarte, esto te dará una clasificación y una puntuación de confianza. El panel de control también contiene un análisis más profundo que muestra qué palabras o frases proporcionaron más señales en la clasificación. Yo personalmente utilizo nuestra herramienta todo el tiempo cuando veo algo en Internet que me hace saltar las alarmas, y espero que también te sea útil a ti.

¿Preguntas? ¿Comentarios? ¿Has encontrado algún error grave en la IA y quieres compartirlo? Ponte en contacto con nosotros en Twitter/X en @max_spero_.