Cómo utiliza Quora Pangram para gestionar las respuestas escritas por IA

En abril de 2024, Pangram Labs se asoció con Quora para ayudarles a combatir a los spammers que utilizan ChatGPT para responder a publicaciones con respuestas falsas generadas por IA.

Quora es uno de los sitios web más grandes del mundo, ocupando el puesto 33 entre los sitios web con más tráfico del mundo y con más de mil millones de visitas al mes en agosto de 2024 (fuente: Semrush). Quora permite a los usuarios publicar preguntas, que serán vistas y respondidas por otras personas que naveguen por el sitio.

«Nuestra misión es compartir y hacer crecer el conocimiento del mundo. Creemos firmemente que gran parte del conocimiento está atrapado en la mente de las personas, y que si hacemos las preguntas adecuadas a las personas adecuadas, podemos extraer ese conocimiento».

Lexie Wu, directora de productos del grupo y responsable de moderación en Quora.

¿Cuál es el problema con las respuestas de la IA?

Un ejemplo de respuesta escrita por IA

La IA generativa permite a los spammers generar cientos o miles de respuestas de aspecto auténtico con poco esfuerzo. Se podría argumentar que una respuesta de IA sigue siendo positiva en términos netos. Los usuarios obtienen una respuesta que tal vez sea de baja o media calidad, pero que a menudo es correcta en cuanto a la dirección. Eso es mejor que no obtener ninguna respuesta, ¿no?

En teoría, tal vez, pero hay varios efectos indeseables de tener respuestas de IA en Quora.

1. Cuando una pregunta ya ha sido respondida, esto disuade a otros de dedicar tiempo a escribir su propia respuesta. Por lo tanto, aunque una pregunta haya obtenido una respuesta aceptable por parte de la IA, dicha respuesta hace que sea menos probable que alguien decida compartir su propia experiencia en el mundo real.
2. La IA desplaza las publicaciones auténticas. Al igual que en muchas plataformas, las visualizaciones y la interacción son un juego de suma cero. Cada vez que un usuario ve contenido generado por IA en su feed o resumen, otros creadores reales pierden la interacción que se merecen.
3. Riesgo reputacional. Las personas pueden darse cuenta cuando una respuesta que están leyendo ha sido escrita por una IA. Esto plantea la siguiente pregunta: ¿por qué visitar Quora si solo vas a leer respuestas generadas por una IA? ¿Por qué no ir directamente a ChatGPT? Quora ofrece una propuesta de valor diferente a la de ChatGPT (respuestas auténticas de personas reales) y gestiona su plataforma para garantizar que esto siga siendo así.

¿Por qué utilizar Pangram?

A veces es difícil determinar con el ojo humano si algo ha sido escrito por una IA. Otras veces, es simplemente una tarea que requiere mucho tiempo, ya que el moderador debe leer detenidamente durante un tiempo antes de estar seguro. La automatización de este proceso libera lo que, de otro modo, sería un costoso trabajo de moderación, lo que a la larga ahorra tiempo y dinero.

Aunque existen un par de soluciones de código abierto que pretenden resolver el problema de la detección de IA para GPT-2, ninguna solución funcionó bien en GPT-4, el modelo de lenguaje grande (LLM) más utilizado. Plataformas como Quora quieren una solución que pueda clasificar los resultados incluso de modelos avanzados como GPT-4. Lo ideal sería que una solución siguiera funcionando con los nuevos LLM, ya que cada dos meses se lanzan nuevos modelos de lenguaje de vanguardia.

Pangram, con evaluaciones sólidas y una precisión más de 100 veces superior a la de competidores como GPTZero, fue una de las únicas opciones que pudo detectar de forma fiable el contenido escrito por GPT-4 en abril de 2024 y sigue siendo, con diferencia, el modelo de detección de IA más preciso en la actualidad.

Además, el canal de datos de Pangram incluye una solidez integrada para futuras versiones de LLM. Es capaz de generar datos de entrenamiento sintéticos y entrenar un nuevo modelo en las 24 horas siguientes a la disponibilidad de un LLM. En julio de 2024, Pangram amplió la compatibilidad lingüística a más de 20 idiomas y sigue realizando mejoras en los modelos para garantizar una alta precisión a los clientes.

Impacto

En septiembre de 2024, Quora había identificado más de un millón de publicaciones generadas por IA, lo que ha mejorado la calidad del contenido en todo el sitio y ha mantenido su reputación como fuente de información auténtica y fiable.

Pangram sigue actuando como un multiplicador de fuerzas para los equipos de confianza y seguridad, proporcionándoles las herramientas que necesitan para establecer con confianza políticas en torno al contenido de IA.

¿Tienes un caso de uso para la detección de IA? ¡Contáctanos en info@pangram.com!