Casos prácticos

Cómo preparar tu empresa para el LLM y la IA general

30 de enero de 2024

Podría decirse que «la persona del año 2023» ha sido la IA. A todos nos ha sorprendido la velocidad de la innovación y las capacidades de los grandes modelos de lenguaje (LLM) y, en términos más generales, de la IA generativa (GenAI). Al mismo tiempo, son muchos, sobre todo en las plataformas en línea, los que plantean dudas sobre los posibles riesgos que estas tecnologías pueden acarrear; véase este artículo de Harvard Business Review en el que se describen algunos de los riesgos de la IA. Las plataformas en línea podrían verse pronto inundadas de contenido generado por IA, lo que tendría implicaciones para la seguridad y la retención de sus usuarios, así como para la reputación de las propias plataformas. Ya existen startups que ofrecen herramientas para generar y difundir volúmenes masivos de contenido de GenAI.

Sin embargo, la IA y la IA generativa también pueden utilizarse en nuestro beneficio para gestionar estos riesgos y ayudarnos a crear espacios digitales y plataformas en línea más seguros, tal y como se ha puesto de manifiesto en algunas de las ideas surgidas en el último Hackatón de Confianza y Seguridad. A medida que surgen nuevas herramientas, es un buen momento para hacer balance de dónde nos encontramos en cuanto a las últimas innovaciones y procesos para gestionar los riesgos a los que se enfrentan las plataformas en línea debido a la IA generativa.

Este artículo puede ayudar a responder preguntas como:

  • ¿Cuál es la mejor manera de proteger nuestra empresa, nuestras comunidades en línea y a nuestros usuarios frente al gran volumen de contenido generado por la inteligencia artificial (desde comentarios spam hasta contenido ilegal que infringe los derechos de autor y otras leyes)?
  • ¿Se puede detectar el contenido generado por IA?
  • ¿En qué momento del ciclo de vida del contenido generado por IA se pueden aplicar medidas de seguridad, y cómo?
  • ¿Cómo están evolucionando las normativas en los distintos mercados y qué implicaciones tienen para usted?

Elabora tu política sobre IA general teniendo en cuenta tu modelo de negocio y tus necesidades


Toda empresa que trabaje con contenido generado por los usuarios necesita una política sobre IA generativa. En general, hay dos preguntas que deben responderse: ¿quieren los usuarios ver contenido generado por IA? y ¿les parece bien que el contenido generado por IA se mezcle con el contenido creado por personas?

Si tu respuesta a cualquiera de estas preguntas es «no», entonces necesitas contar con una política sobre el contenido generado por IA. Por ejemplo, exigir que se indique que el contenido ha sido generado por IA o prohibirlo expresamente. Dicha política puede ser aplicada por moderadores humanos con buen ojo y mediante procesos eficaces con herramientas como Pangram Labs.

Si la respuesta es afirmativa —es decir, si a los usuarios les parece bien o les entusiasma ver contenido generado por IA—, entonces, desde el punto de vista normativo, no hay problema. Sin embargo, antes de dar el paso e introducir directamente herramientas de IA, como los mensajes asistidos por IA de LinkedIn, aún debes asegurarte de que el contenido sea seguro. Para ello, necesitas algunas medidas de seguridad y, lo que es más importante, establecer siempre procesos para moderar de forma eficaz y eficiente el contenido generado por IA, de manera similar a la moderación del contenido generado por los usuarios, utilizando herramientas como la plataforma de moderación de Tremau.

Por supuesto, tu política sobre IA generativa dependerá de tu negocio y del contexto. No existe una solución única válida para todos. Por ejemplo, si tu negocio es un mercado online o, en general, una plataforma en la que los usuarios se basan en las opiniones de otros usuarios, es posible que debas asegurarte de que ninguna opinión generada por IA llegue a tu plataforma. En términos más generales, también debe asegurarse de que no haya contenido ilegal generado por IA, al igual que el contenido generado por los usuarios, en su plataforma. Los bots y el spam siempre han sido un reto, pero con el poder de la IA generativa son más potentes y más difíciles de detectar.

Comprender y aprovechar los límites de la IA


La mayoría de las API de IA comerciales ofrecen algún tipo de medidas de seguridad. La API Gemini de Google clasifica automáticamente sus resultados en cuatro categorías de seguridad: discurso de odio, acoso, contenido sexualmente explícito y contenido peligroso. Si utilizas la API OpenAI de Azure, obtienes clasificaciones similares basadas en los filtros de contenido «Odio y equidad», «Sexual», «Violencia» y «Autolesión». Ambas API rechazarán las consultas que obtengan una puntuación demasiado alta en cualquiera de estas categorías, pero dejan los niveles intermedios de moderación de seguridad a tu discreción.

Si utilizas un modelo de código abierto como Llama-2 o Mistral, tendrás que crear tu propio filtro de contenido. Esto se puede resolver mediante una llamada independiente a un clasificador de código cerrado (la API de filtrado de contenido de OpenAI, la API de seguridad de contenido de IA de Azure) o una solución de código abierto como LlamaGuard, recientemente lanzada por Meta. LlamaGuard es un modelo basado en LLM con 7 000 millones de parámetros que obtiene muy buenos resultados en las pruebas comparativas. Se muestra prometedor para la clasificación de prompts y respuestas, así como para la moderación general de contenidos.

Asegúrate de que los seres humanos sigan participando y de que tus procesos cumplan con la normativa


Independientemente de las herramientas automatizadas que utilices para proteger a tus usuarios y a tu empresa, ninguna tecnología puede ofrecerte una protección total. Todas las herramientas de IA que utilices siempre cometerán errores. Debes asegurarte de que esos errores no te expongan a riesgos operativos, relacionados con los clientes o normativos.

En primer lugar, siempre será necesario contar con la participación de personas que, como mínimo, revisen parte del contenido que las herramientas puedan señalar para su verificación. Por supuesto, los procesos de revisión de contenidos deben ser eficaces y eficientes. Irónicamente, cuanto más se extiendan las herramientas de IA en el mercado (por ejemplo, para generar o moderar contenidos), más personas será necesario involucrar en algunos casos.

En segundo lugar, cualquier proceso o práctica de moderación de contenidos debe diseñarse teniendo en cuenta la seguridad y la fidelización de tus usuarios —y, por ende, también el negocio—. ¿Qué ocurre si los errores de tu moderación suscitan inquietudes? ¿Cómo garantizas que tus usuarios tengan voz cuando sea necesario para corregir tus decisiones —o las de tu IA—? ¿Cómo aseguras que tus moderadores dispongan de todo lo necesario para tomar las mejores decisiones de moderación de la forma más eficiente y eficaz posible? Gestionar estas y otras complejidades requiere que reflexiones detenidamente y automatices de forma eficaz tus procesos, utilizando, por ejemplo, herramientas como la plataforma de moderación de contenidos de Tremau.

Por último, 2024 será el año en el que realmente tendrás que redoblar tus esfuerzos para asegurarte de no estar entre las empresas sancionadas por los organismos reguladores. La Ley de Servicios Digitales de la UE entrará en vigor para todas las plataformas en línea que operen en Europa, lo que te obligará a rediseñar tus procesos y a presentar —so pena de multa— informes, como los informes de transparencia. Por supuesto, el cumplimiento normativo es imprescindible, independientemente de si tu plataforma se ve afectada por la IA o la utiliza.

¿En qué podemos ayudarte? En Checkfor.ai y Tremau trabajamos para ayudarte a orientarte mejor en el nuevo mundo de la IA avanzada y las nuevas normativas.

Para obtener más información, ponte en contacto con nosotros en info@tremau.com y info@pangram.com.



Theodoros Evgeniou es cofundador y director de innovación de Tremau, profesor del INSEAD, miembro de la Red de Expertos en IA de la OCDE, asesor del BCG Henderson Institute y ha sido colaborador académico en materia de IA en el Foro Económico Mundial. Posee cuatro títulos del MIT, entre ellos un doctorado en el campo de la IA.

Max Spero es cofundador y director ejecutivo de Pangram Labs. Anteriormente trabajó como ingeniero de software en Google y Nuro, donde se encargaba de crear flujos de datos y entrenar modelos de aprendizaje automático. Es licenciado y máster en Informática por la Universidad de Stanford.

Este artículo se publicó conjuntamente con Tremau en enero de 2024.


Max Spero
Max SperoDirector general y cofundador

Max es un ingeniero con amplia experiencia en aprendizaje automático. Recientemente ha trabajado en el ámbito de los vehículos autónomos en Nuro, donde ha dirigido el proyecto de aprendizaje activo. Cuenta con una dilatada trayectoria en la implementación de productos de aprendizaje automático de éxito en Google, Two Sigma y Yelp.

Max es licenciado en Informática Teórica y tiene un máster en Inteligencia Artificial por la Universidad de Stanford. Además de su pasión por la construcción, también es un miembro activo de la comunidad del «cubo» de Magic: The Gathering.

Más de Max Spero

Lecturas relacionadas

Cada vez son más los artículos de congresos sobre IA redactados por la propia IA: un aumento del 370 % desde 2023
Casos prácticos

Cada vez son más los artículos de congresos sobre IA redactados por la propia IA: un aumento del 370 % desde 2023

30 de septiembre de 2024
¿Qué detector de IA es el más preciso? 30 herramientas analizadas (2026)
Casos prácticos

¿Qué detector de IA es el más preciso? 30 herramientas analizadas (2026)

7 de enero de 2026
¿En qué se diferencia Pangram de GPTZero?
Casos prácticos

¿En qué se diferencia Pangram de GPTZero?

22 de enero de 2026
Cómo utiliza Gradpilot el pangram para ayudar a los estudiantes a encontrar su voz
Casos prácticos

Cómo utiliza Gradpilot el pangram para ayudar a los estudiantes a encontrar su voz

15 de septiembre de 2025
Cómo detectar las reseñas generadas por IA
Casos prácticos

Cómo detectar las reseñas generadas por IA

5 de diciembre de 2023
La IA está escribiendo obras de ficción galardonadas
Casos prácticos

La IA está escribiendo obras de ficción galardonadas

21 de mayo de 2026