Como o Quora utiliza o Pangram para gerir respostas escritas por IA

Em abril de 2024, a Pangram Labs estabeleceu uma parceria com a Quora para a ajudar a combater os spammers que utilizavam o ChatGPT para responder a publicações com respostas falsas geradas por IA.

O Quora é um dos maiores sites do mundo, ocupando o 33.º lugar no ranking dos sites mais visitados do mundo e registando mais de mil milhões de visitas por mês, em agosto de 2024 (Fonte: Semrush). O Quora permite que os utilizadores publiquem perguntas, que serão vistas e respondidas por outras pessoas que navegam no site.

«A nossa missão é partilhar e ampliar o conhecimento mundial. Acreditamos firmemente que grande parte do conhecimento está guardado nas mentes das pessoas e que, se conseguirmos associar as perguntas certas às pessoas certas, poderemos extrair esse conhecimento.»

Lexie Wu, gestora de produto do grupo responsável pela moderação na Quora

Qual é o problema com as respostas geradas por IA?

Um exemplo de resposta redigida por IA

A IA generativa permite que os spammers criem centenas ou milhares de respostas com aparência autêntica com muito pouco esforço. Poder-se-ia argumentar que uma resposta gerada por IA continua a ser, no geral, positiva. Os utilizadores recebem uma resposta que pode ser de baixa ou média qualidade, mas que, muitas vezes, está correta no essencial. É melhor do que não ter resposta nenhuma, certo?

Talvez, isoladamente – mas há vários efeitos indesejáveis decorrentes da presença de respostas geradas por IA no Quora.

1. Quando uma pergunta já tem resposta, isso dissuade outras pessoas de dedicarem tempo a escrever a sua própria resposta. Assim, mesmo que uma pergunta tenha recebido uma resposta aceitável da IA, essa resposta torna menos provável que alguém opte por partilhar a sua própria experiência do mundo real.
2. A IA suplantam as publicações autênticas. Tal como acontece com muitas plataformas, as visualizações e o envolvimento são um jogo de soma zero. Sempre que um utilizador vê conteúdo gerado por IA no seu feed ou resumo, outros criadores reais estão a perder o envolvimento que merecem.
3. Risco de reputação. As pessoas conseguem perceber quando uma resposta que estão a ler foi escrita por IA. Isto levanta a seguinte questão: por que razão visitar o Quora se se vai apenas ler respostas geradas por IA? Por que não ir diretamente ao ChatGPT? O Quora apresenta uma proposta de valor diferente da do ChatGPT — respostas autênticas de pessoas reais — e modera a sua plataforma para garantir que isso se mantém.

Por que usar o Pangram?

Às vezes, é difícil distinguir a olho nu se um texto foi escrito por IA. Outras vezes, trata-se simplesmente de uma tarefa demorada, que exige que um moderador leia atentamente durante algum tempo antes de ter a certeza. Automatizar este processo liberta recursos que, de outra forma, seriam dedicados a um trabalho de moderação dispendioso, poupando tempo e dinheiro a longo prazo.

Embora existam algumas soluções de código aberto que visam resolver o problema da deteção de IA no GPT-2, nenhuma delas funcionou bem no GPT-4, o modelo de linguagem de grande escala (LLM) mais utilizado. Plataformas como o Quora procuram uma solução capaz de classificar os resultados produzidos até mesmo por modelos avançados como o GPT-4. Idealmente, essa solução deveria continuar a funcionar com novos LLMs, uma vez que novos modelos de linguagem de ponta são lançados a cada dois meses.

O Pangram, com avaliações sólidas e uma precisão mais de 100 vezes superior à de concorrentes como o GPTZero, foi uma das únicas opções capazes de detetar com fiabilidade conteúdos escritos pelo GPT-4 em abril de 2024 e continua a ser, hoje em dia, o modelo de deteção de IA mais preciso, com uma vantagem considerável.

Além disso, o pipeline de dados da Pangram inclui uma robustez integrada para futuras versões de LLM. É capaz de gerar dados de treino sintéticos e treinar um novo modelo no prazo de 24 horas após a disponibilização de um LLM. Em julho de 2024, a Pangram alargou o suporte linguístico a mais de 20 idiomas e continua a introduzir melhorias na modelação para garantir uma elevada precisão aos clientes.

Impacto

Até setembro de 2024, o Quora identificou mais de 1 milhão de publicações geradas por IA, melhorando a qualidade do conteúdo em todo o site e mantendo a sua reputação como fonte de informação autêntica e fiável.

A Pangram continua a funcionar como um multiplicador de recursos para as equipas de Confiança e Segurança, fornecendo-lhes as ferramentas necessárias para definirem com confiança políticas relativas a conteúdos gerados por IA.

Tem um caso de utilização para a deteção por IA? Contacte-nos através do endereço info@pangram.com!