¡Anunciamos una nueva colaboración con Proofig! Más información

Podría decirse que «la persona del año 2023» ha sido la IA. A todos nos ha sorprendido la velocidad de la innovación y las capacidades de los modelos de lenguaje grandes (LLM) y, en general, de la IA generativa (GenAI). Al mismo tiempo, muchos, especialmente en las plataformas en línea, plantean preguntas sobre los riesgos potenciales que pueden plantear estas tecnologías; véase este artículo de Harvard Business Review en el que se describen algunos riesgos de la IA. Las plataformas en línea podrían verse pronto inundadas de contenido generado por IA, lo que tendría implicaciones para la seguridad y la retención de sus usuarios, así como para la reputación de las plataformas. Ya hay startups que ofrecen herramientas para generar y difundir grandes volúmenes de contenido GenAI.
Pero la IA y la GenAI también pueden utilizarse en nuestro beneficio para gestionar estos riesgos y ayudarnos a crear espacios digitales y plataformas en línea más seguros, como se ha visto en algunas ideas del último Trust & Safety Hackathon. A medida que surgen nuevas herramientas, es un buen momento para hacer balance de dónde nos encontramos en cuanto a las últimas innovaciones y procesos para gestionar los riesgos a los que se enfrentan las plataformas en línea debido a la GenAI.
Este artículo puede ayudar a responder preguntas como:
Todas las empresas con contenido generado por los usuarios necesitan una política de GenAI. Por lo general, hay dos preguntas que deben responderse. ¿Los usuarios quieren ver contenido generado por IA? ¿Les parece bien que el contenido generado por IA se mezcle con el contenido humano?
Si tu respuesta a cualquiera de estas preguntas es «no», entonces necesitas contar con una política sobre el contenido generado por IA. Por ejemplo, exigir que se revele el contenido generado por IA o prohibir expresamente dicho contenido. Esta política puede ser aplicada por moderadores humanos con buen ojo y procesos eficaces con herramientas como Pangram Labs.
Si la respuesta es afirmativa, es decir, si los usuarios aceptan o se muestran entusiastas ante el contenido generado por IA, entonces, desde el punto de vista normativo, no hay ningún problema. Sin embargo, antes de introducir directamente herramientas de IA, como los mensajes asistidos por IA de Linkedin, es necesario asegurarse de que el contenido sea seguro. Para ello, necesitas algunas medidas de protección y, lo que es más importante, establecer siempre procesos para moderar de forma eficaz y eficiente el contenido generado por IA, de forma similar a la moderación del contenido generado por los usuarios, utilizando herramientas como la plataforma de moderación de Tremau.
Por supuesto, tu política de GenAI depende de tu negocio y contexto. No existe una solución única para todos. Por ejemplo, si eres un mercado o, en general, una plataforma en la que los usuarios confían en las opiniones de otros usuarios, es posible que debas asegurarte de que ninguna opinión generada por IA llegue a tu plataforma. En términos más generales, también debe asegurarse de que ningún contenido ilegal generado por IA, al igual que el contenido generado por los usuarios, permanezca en su plataforma. Los bots y el spam siempre han sido un reto, pero con el poder de GenAI son más potentes y difíciles de detectar.
La mayoría de las API comerciales de IA proporcionan algún tipo de barreras de seguridad para la IA. La API Gemini de Google califica automáticamente sus resultados en cada una de las cuatro categorías de seguridad: discurso de odio, acoso, contenido sexual explícito y contenido peligroso. Si utiliza la API OpenAI de Azure, obtendrá calificaciones similares basadas en los filtros de contenido «Odio y equidad», «Sexual», «Violencia» y «Autolesiones». Ambas API rechazarán las consultas que obtengan una puntuación demasiado alta en cualquiera de estas categorías, pero dejarán los niveles intermedios de moderación de seguridad a su discreción.
Si utiliza un modelo de código abierto como Llama-2 o Mistral, tendrá que crear su propio filtro de contenido. Esto se puede resolver con una llamada independiente a un clasificador de código cerrado (API de filtro de contenido de OpenAI, API de seguridad de contenido de IA de Azure) o una solución de código abierto como LlamaGuard, recientemente lanzada por Meta. LlamaGuard es un modelo basado en LLM con 7000 millones de parámetros que ofrece muy buenos resultados. Es prometedor para la clasificación de mensajes y respuestas, así como para la moderación general de contenidos.
Independientemente de las herramientas automatizadas que utilice para proteger a sus usuarios y su negocio, ninguna tecnología puede protegerle por completo. Todas las herramientas de IA que utilice siempre cometerán errores. Debe asegurarse de que dichos errores no le expongan a riesgos operativos, normativos o relacionados con los clientes.
En primer lugar, siempre será necesario involucrar a personas en el proceso que, como mínimo, revisen parte del contenido que las herramientas les señalen para que lo comprueben. Por supuesto, los procesos de revisión de contenido deben ser eficaces y eficientes. Irónicamente, cuantas más herramientas de IA haya disponibles en el mercado (por ejemplo, para generar o moderar contenido), más personas será necesario involucrar en algunos casos.
En segundo lugar, cualquier proceso y práctica de moderación de contenidos debe diseñarse teniendo en cuenta la seguridad y la retención de los usuarios, y por lo tanto también el negocio. ¿Qué ocurre si los errores de su moderación suscitan inquietudes? ¿Cómo garantiza que sus usuarios tengan voz cuando sea necesario para corregir sus decisiones o las de su IA? ¿Cómo se asegura de que sus moderadores tengan todo lo necesario para tomar las mejores decisiones de moderación de la manera más eficiente y eficaz posible? Gestionar estas y otras complejidades requiere que piense detenidamente y automatice de manera eficaz sus procesos, utilizando, por ejemplo, herramientas como la plataforma de moderación de contenidos de Tremau.
Por último, 2024 será el año en el que realmente tendrás que redoblar tus esfuerzos para asegurarte de no estar entre las empresas multadas por los reguladores. La Ley de Servicios Digitales de la UE entrará en vigor para todas las plataformas en línea que operan en Europa, con requisitos para que rediseñes tus procesos y proporciones informes, como los de transparencia, so pena de ser multado. Por supuesto, el cumplimiento es necesario independientemente de que tu plataforma se vea afectada por la IA o la utilice.
¿Cómo podemos ayudarle? En Checkfor.ai y Tremau trabajamos para ayudarle a navegar mejor por el nuevo mundo de la potente IA y las nuevas regulaciones.
Para obtener más información, póngase en contacto con nosotros en info@tremau.com y info@pangram.com.
Theodoros Evgeniou es cofundador y director de innovación de Tremau, profesor del INSEAD, miembro de la Red de Expertos en IA de la OCDE, asesor del BCG Henderson Institute y ha sido socio académico en materia de IA en el Foro Económico Mundial. Posee cuatro títulos del MIT, incluido un doctorado en el campo de la IA.
Max Spero es cofundador y director ejecutivo de Pangram Labs. Anteriormente, fue ingeniero de software en Google y Nuro, donde se dedicó a crear canales de datos y entrenar modelos de aprendizaje automático. Es licenciado y máster en Informática por la Universidad de Stanford.
Este artículo fue publicado conjuntamente con Tremau en enero de 2024.
