
Pode-se dizer que «a personalidade do ano de 2023» foi a IA. Todos fomos apanhados de surpresa pela velocidade da inovação e pelas capacidades dos Grandes Modelos de Linguagem (LLMs) e, de forma mais geral, da IA generativa (GenAI). Ao mesmo tempo, muitos, especialmente nas plataformas online, levantam questões sobre os riscos potenciais que estas tecnologias podem acarretar – veja este artigo da Harvard Business Review que descreve alguns riscos da IA. As plataformas online poderão em breve ser inundadas com conteúdos gerados por IA, com implicações para a segurança e retenção dos seus utilizadores, bem como para a reputação das plataformas. Já existem startups que oferecem ferramentas para gerar e divulgar volumes massivos de conteúdos de GenAI.
Mas a IA e a IA Gerativa também podem ser utilizadas em nosso benefício para gerir esses riscos e ajudar-nos a criar espaços digitais e plataformas online mais seguros, como se pode ver em algumas ideias apresentadas no último Hackathon de Confiança e Segurança. À medida que surgem novas ferramentas, este é um bom momento para fazer um balanço da nossa situação atual no que diz respeito às mais recentes inovações e processos para gerir os riscos que as plataformas online enfrentam devido à IA Gerativa.
Este artigo pode ajudar a responder a perguntas como:
Todas as empresas que lidam com conteúdos gerados pelos utilizadores precisam de uma política relativa à IA de geração. Em geral, há duas questões a responder: os utilizadores querem ver conteúdos gerados por IA e aceitam que os conteúdos gerados por IA sejam misturados com conteúdos criados por humanos?
Se a sua resposta a qualquer uma destas perguntas for «não», então precisa de estabelecer uma política relativa a conteúdos gerados por IA. Por exemplo, exigir que esses conteúdos sejam identificados ou proibir expressamente a sua utilização. Essa política pode ser aplicada por moderadores humanos com um olhar atento e através de processos eficazes, com ferramentas como a Pangram Labs.
Se a resposta for sim – ou seja, se os utilizadores não se importam ou até se mostram entusiasmados com a ideia de ver conteúdo gerado por IA –, então, do ponto de vista das políticas, está tudo bem. No entanto, antes de avançar e introduzir diretamente ferramentas de IA, como as mensagens assistidas por IA do LinkedIn, terá ainda de se certificar de que o conteúdo é seguro. Para isso, precisa de algumas medidas de segurança e, mais importante ainda, de implementar sempre processos para moderar de forma eficaz e eficiente o conteúdo gerado por IA, à semelhança da moderação do conteúdo gerado pelos utilizadores, utilizando ferramentas como a plataforma de moderação da Tremau.
É claro que a sua política relativa à IA gerativa depende do seu negócio e do contexto. Não existe uma solução única que sirva para todos. Por exemplo, se for um mercado online ou, de um modo geral, uma plataforma em que os utilizadores confiam nas avaliações de outros utilizadores, poderá ter de garantir que nenhuma avaliação gerada por IA chegue à sua plataforma. De forma mais geral, também precisa de garantir que nenhum conteúdo ilegal gerado por IA, tal como o conteúdo gerado por utilizadores, permaneça na sua plataforma. Os bots e o spam sempre foram um desafio, mas com o poder da GenAI tornaram-se mais poderosos e difíceis de detetar.
A maioria das APIs comerciais de IA oferece algum tipo de mecanismo de proteção. A API Gemini do Google classifica automaticamente os seus resultados em cada uma das quatro categorias de segurança: Discurso de Ódio, Assédio, Conteúdo Sexualmente Explícito e Conteúdo Perigoso. Se utilizar a API OpenAI do Azure, obtém classificações semelhantes com base nos filtros de conteúdo «Ódio e Equidade», Sexual, Violência e Automutilação. Ambas as APIs rejeitarão consultas com pontuações demasiado elevadas em qualquer uma destas categorias, mas deixam os níveis intermédios de moderação de segurança ao seu critério.
Se estiver a utilizar um modelo de código aberto, como o Llama-2 ou o Mistral, terá de criar o seu próprio filtro de conteúdo. Isto pode ser resolvido através de uma chamada separada a um classificador de código fechado (a API de filtragem de conteúdo da OpenAI, a API de segurança de conteúdo da IA do Azure) ou a uma solução de código aberto, como o LlamaGuard, recentemente lançado pela Meta. O LlamaGuard é um modelo baseado em LLM com 7 mil milhões de parâmetros que apresenta um desempenho muito bom nos testes de benchmark. Mostra-se promissor para a classificação de prompts e respostas, bem como para a moderação geral de conteúdos.
Independentemente das ferramentas automatizadas que utilize para proteger os seus utilizadores e a sua empresa, nenhuma tecnologia pode protegê-lo totalmente. Todas as ferramentas de IA que utilizar irão sempre cometer erros. Deve garantir que esses erros não o expõem a riscos operacionais, relacionados com os clientes ou regulamentares.
Em primeiro lugar, será sempre necessário envolver pessoas no processo que, no mínimo, analisem parte do conteúdo que as ferramentas possam sinalizar para verificação. É claro que os seus processos de revisão de conteúdo têm de ser eficazes e eficientes. Ironicamente, quanto mais ferramentas de IA estiverem disponíveis no mercado (por exemplo, para gerar ou moderar conteúdo), mais pessoas poderá ser necessário envolver em alguns casos.
Em segundo lugar, quaisquer processos e práticas de moderação de conteúdos devem ser concebidos tendo em mente a segurança e a retenção dos seus utilizadores – e, por conseguinte, também o seu negócio. E se os erros da sua moderação suscitarem preocupações? Como garante que os seus utilizadores têm uma palavra a dizer quando necessário para corrigir as suas decisões – ou as da sua IA? Como garantir que os seus moderadores têm tudo o que precisam para tomar as melhores decisões de moderação da forma mais eficiente e eficaz possível? Gerir estas e outras complexidades exige que reflita cuidadosamente e automatize eficazmente os seus processos, utilizando, por exemplo, ferramentas como a plataforma de moderação de conteúdos da Tremau.
Por fim, 2024 será o ano em que terá realmente de redobrar os esforços para garantir que a sua empresa não se encontra entre as que serão multadas pelas entidades reguladoras. A Lei dos Serviços Digitais da UE entrará em vigor para todas as plataformas online que operam na Europa, impondo-lhe a obrigação de reformular os seus processos e de apresentar relatórios — sob pena de multa —, tais como relatórios de transparência. É claro que a conformidade é necessária, independentemente de a sua plataforma ser afetada pela IA ou de a utilizar.
Em que podemos ajudá-lo? Na Checkfor.ai e na Tremau, trabalhamos para o ajudar a orientar-se da melhor forma no novo mundo da IA avançada e das novas regulamentações.
Para saber mais, contacte-nos através do e-mail info@tremau.com e do site info@pangram.com.
Theodoros Evgeniou é cofundador e Diretor de Inovação da Tremau, professor no INSEAD, membro da Rede de Peritos em IA da OCDE, consultor do BCG Henderson Institute e tem sido parceiro académico na área da IA no Fórum Económico Mundial. É titular de quatro diplomas do MIT, incluindo um doutoramento na área da IA.
Max Spero é cofundador e diretor executivo da Pangram Labs. Anteriormente, foi engenheiro de software na Google e na Nuro, onde se dedicou à criação de fluxos de dados e ao treino de modelos de aprendizagem automática. É licenciado e mestre em Ciências da Computação pela Universidade de Stanford.
Este artigo foi publicado em colaboração com a Tremau em janeiro de 2024.

O Max é um engenheiro experiente na área do aprendizado de máquina. Mais recentemente, trabalhou no setor de veículos autónomos na Nuro, liderando a iniciativa de aprendizado ativo da empresa. Tem um longo historial de implementação de produtos de aprendizado de máquina de sucesso na Google, na Two Sigma e na Yelp.
O Max é licenciado em Ciência da Computação Teórica e mestre em Inteligência Artificial pela Universidade de Stanford. Para além da sua paixão pela construção, é também um membro ativo da comunidade de cubos de Magic: The Gathering.






