Anunciamos uma nova parceria com a Proofig! Saiba mais

Pode-se dizer que a «pessoa do ano de 2023» foi a IA. Todos nós ficámos surpreendidos com a velocidade da inovação e as capacidades dos Modelos de Linguagem de Grande Escala (LLMs) e, de forma mais geral, da IA generativa (GenAI). Ao mesmo tempo, muitos, particularmente nas plataformas online, levantam questões sobre os riscos potenciais que estas tecnologias podem acarretar – veja este artigo da Harvard Business Review que descreve alguns riscos da IA. As plataformas online podem em breve ficar inundadas com conteúdo gerado por IA, com implicações para a segurança e retenção dos seus utilizadores, bem como para a reputação das plataformas. Já existem startups que oferecem ferramentas para gerar e divulgar volumes massivos de conteúdo GenAI.
Mas a IA e a GenAI também podem ser usadas em nosso benefício para gerir esses riscos e nos ajudar a criar espaços digitais e plataformas online mais seguras, como visto em algumas ideias do último Trust & Safety Hackathon. À medida que novas ferramentas surgem, é um bom momento para avaliar onde estamos em termos das últimas inovações e processos para gerir os riscos que as plataformas online enfrentam devido à GenAI.
Este artigo pode ajudar a responder a perguntas como:
Todas as empresas com conteúdo gerado por utilizadores precisam de uma política de GenAI. Geralmente, há duas perguntas a serem respondidas. Os utilizadores querem ver conteúdo gerado por IA e aceitam que o conteúdo de IA seja misturado com conteúdo humano?
Se a sua resposta para qualquer uma das perguntas for não, então precisa de ter uma política em relação ao conteúdo de IA. Por exemplo, exigir que o conteúdo de IA seja divulgado ou proibir expressamente o conteúdo de IA. Tal política pode ser aplicada por moderadores humanos com um olhar atento e processos eficazes com ferramentas como o Pangram Labs.
Se a resposta for sim – os utilizadores estão confortáveis ou entusiasmados em ver conteúdo gerado por IA –, então, do ponto de vista das políticas, está tudo bem. No entanto, antes de avançar e introduzir ferramentas de IA diretamente, como as mensagens assistidas por IA do LinkedIn, ainda precisa garantir que o conteúdo é seguro. Para isso, você precisa de algumas proteções e, mais importante, sempre implementar processos para moderar de forma eficaz e eficiente o conteúdo gerado por IA, semelhante à moderação de conteúdo gerado por utilizadores, usando ferramentas como a plataforma de moderação da Tremau.
É claro que a sua política de GenAI depende do seu negócio e contexto. Não existe uma solução única para todos. Por exemplo, se você é um marketplace ou, de modo geral, uma plataforma em que os utilizadores confiam nas avaliações de outros utilizadores, talvez seja necessário garantir que nenhuma avaliação gerada por IA chegue à sua plataforma. De forma mais geral, também precisa garantir que nenhum conteúdo ilegal gerado por IA, assim como o conteúdo gerado por utilizadores, permaneça na sua plataforma. Os bots e o spam sempre foram um desafio, mas com o poder da GenAI eles estão mais poderosos e difíceis de detectar.
A maioria das APIs comerciais de IA fornece algum tipo de proteção contra IA. A API Gemini do Google classifica automaticamente os seus resultados em quatro categorias de segurança: discurso de ódio, assédio, conteúdo sexualmente explícito e conteúdo perigoso. Se utilizar a API OpenAI do Azure, obterá classificações semelhantes com base nos filtros de conteúdo «Ódio e justiça», «Sexual», «Violência» e «Autolesão». Ambas as APIs rejeitarão consultas com pontuação muito alta em qualquer uma dessas categorias, mas deixarão os níveis intermediários de moderação de segurança a seu critério.
Se estiver a usar um modelo de código aberto, como Llama-2 ou Mistral, precisará criar o seu próprio filtro de conteúdo. Isso pode ser resolvido com uma chamada separada para um classificador de código fechado (API de filtro de conteúdo da OpenAI, API de segurança de conteúdo de IA do Azure) ou uma solução de código aberto, como o LlamaGuard, recém-lançado pela Meta. O LlamaGuard é um modelo baseado em LLM com 7 bilhões de parâmetros que tem um desempenho muito bom em benchmarks. Ele se mostra promissor para classificação de prompts e respostas, bem como para moderação geral de conteúdo.
Independentemente das ferramentas automatizadas que utilize para proteger os seus utilizadores e a sua empresa, nenhuma tecnologia pode protegê-lo totalmente. Todas as ferramentas de IA que utiliza sempre cometerão erros. É necessário garantir que esses erros não o exponham a riscos operacionais, regulatórios ou relacionados aos clientes.
Primeiro, será sempre necessário envolver pessoas no processo que, no mínimo, irão rever parte do conteúdo que as ferramentas possam sinalizar para verificação. É claro que os seus processos de revisão de conteúdo precisam de ser eficazes e eficientes. Ironicamente, quanto mais ferramentas de IA se tornam disponíveis no mercado (por exemplo, para gerar ou moderar conteúdo), mais pessoas poderá ser necessário envolver em alguns casos.
Em segundo lugar, todos os processos e práticas de moderação de conteúdo precisam ser projetados tendo em mente a segurança e a retenção dos seus utilizadores – e, portanto, também os seus negócios. E se os erros da sua moderação suscitarem preocupações? Como garantir que os seus utilizadores tenham voz quando necessário para corrigir as suas decisões – ou as da sua IA? Como garantir que os seus moderadores tenham tudo o que precisam para tomar as melhores decisões de moderação da forma mais eficiente e eficaz possível? Gerir estas e outras complexidades requer que pense cuidadosamente e automatize eficazmente os seus processos, utilizando, por exemplo, ferramentas como a plataforma de moderação de conteúdo da Tremau.
Por fim, 2024 será o ano em que você realmente precisará redobrar os esforços para garantir que sua empresa não seja multada pelos órgãos reguladores. A Lei de Serviços Digitais da UE entrará em vigor para todas as plataformas online que operam na Europa, com requisitos para que você redesenhe seus processos e forneça relatórios, como relatórios de transparência, sob pena de multa. É claro que a conformidade é necessária, independentemente de sua plataforma ser afetada ou usar IA.
Como podemos ajudá-lo? Na Checkfor.ai e na Tremau, trabalhamos para ajudá-lo a navegar da melhor forma pelo novo mundo da poderosa IA e das novas regulamentações.
Para saber mais, contacte-nos através dos endereços info@tremau.com e info@pangram.com.
Theodoros Evgeniou é cofundador e diretor de inovação da Tremau, professor do INSEAD, membro da Rede de Especialistas em IA da OCDE, consultor do BCG Henderson Institute e parceiro académico em IA no Fórum Económico Mundial. É titular de quatro diplomas do MIT, incluindo um doutoramento na área da IA.
Max Spero é cofundador e CEO da Pangram Labs. Anteriormente, foi engenheiro de software na Google e na Nuro, onde criou pipelines de dados e treinou modelos de aprendizagem automática. É licenciado e mestre em Ciência da Computação pela Universidade de Stanford.
Este artigo foi publicado em conjunto com a Tremau em janeiro de 2024.
