Como o Quora usa o Pangram para lidar com respostas escritas por IA

Em abril de 2024, a Pangram Labs fez uma parceria com a Quora para ajudá-los a combater os spammers que usavam o ChatGPT para responder a publicações com respostas inautênticas geradas por IA.

O Quora é um dos maiores sites do mundo, ocupando a 33ª posição entre os sites mais visitados do mundo e atraindo mais de 1 bilhão de visitas por mês em agosto de 2024 (Fonte: Semrush). O Quora permite que os utilizadores publiquem perguntas, que serão vistas e respondidas por outras pessoas que navegam no site.

«A nossa missão é partilhar e aumentar o conhecimento mundial. Acreditamos firmemente que muito conhecimento está preso nas cabeças das pessoas e que, se fizermos as perguntas certas às pessoas certas, podemos extrair esse conhecimento.»

Lexie Wu, Gestora de Produto do Grupo responsável pela moderação na Quora

Qual é o problema com as respostas da IA?

Um exemplo de resposta escrita por IA

A IA generativa permite que os spammers gerem centenas ou milhares de respostas com aparência autêntica com pouco esforço. Pode-se argumentar que uma resposta de IA ainda é positiva. Os utilizadores veem uma resposta que talvez seja de baixa ou média qualidade, mas que muitas vezes está direcionalmente correta. Isso é melhor do que nenhuma resposta, certo?

Em um vácuo, talvez – mas há vários efeitos indesejáveis em ter respostas de IA no Quora.

1. Quando uma pergunta já foi respondida, isso dissuade outras pessoas de dedicarem tempo para escrever a sua própria resposta. Portanto, mesmo que uma pergunta tenha recebido uma resposta satisfatória da IA, essa resposta torna menos provável que alguém opte por partilhar a sua própria experiência do mundo real.
2. A IA substitui as publicações autênticas. Tal como acontece com muitas plataformas, as visualizações e o envolvimento são um jogo de soma zero. Cada vez que um utilizador vê conteúdo de IA no seu feed ou resumo, outros criadores reais estão a perder o envolvimento que merecem.
3. Risco de reputação. As pessoas conseguem perceber quando uma resposta que estão a ler foi escrita por IA. Isso levanta a questão: por que visitar o Quora se você só vai ler respostas de IA? Por que não ir diretamente ao ChatGPT? O Quora apresenta uma proposta de valor diferente do ChatGPT – respostas autênticas de pessoas reais – e faz a curadoria da sua plataforma para garantir que isso continue sendo verdade.

Porquê usar o Pangram?

Às vezes, é difícil perceber a olho nu se algo foi escrito por IA. Outras vezes, é simplesmente uma tarefa demorada, exigindo que um moderador leia cuidadosamente por um tempo antes de ter certeza. Automatizar esse processo libera o que, de outra forma, seria um trabalho de moderação dispendioso, economizando tempo e dinheiro a longo prazo.

Embora existam algumas soluções de código aberto que visam resolver o problema da deteção de IA para o GPT-2, nenhuma solução funcionou bem no GPT-4, o modelo de linguagem grande (LLM) mais utilizado. Plataformas como o Quora querem uma solução que possa classificar os resultados até mesmo de modelos avançados como o GPT-4. Idealmente, uma solução continuaria a funcionar com novos LLMs, já que novos modelos de linguagem de ponta são lançados a cada dois meses.

O Pangram, com avaliações robustas e precisão mais de 100 vezes superior à de concorrentes como o GPTZero, foi uma das únicas opções capazes de detectar com fiabilidade o conteúdo escrito pelo GPT-4 em abril de 2024 e continua a ser, hoje, o modelo de detecção de IA mais preciso, com uma vantagem significativa.

Além disso, o pipeline de dados da Pangram inclui robustez integrada para futuras versões do LLM. Ele é capaz de gerar dados de treino sintéticos e treinar um novo modelo dentro de 24 horas após a disponibilização de um LLM. Em julho de 2024, a Pangram expandiu o suporte a mais de 20 idiomas e continua a fazer melhorias na modelagem para garantir alta precisão para os clientes.

Impacto

Em setembro de 2024, o Quora identificou mais de 1 milhão de publicações geradas por IA, melhorando a qualidade do conteúdo em todo o site e mantendo a sua reputação como uma fonte de informação autêntica e confiável.

O Pangram continua a servir como um multiplicador de força para as equipas de Confiança e Segurança, fornecendo-lhes as ferramentas necessárias para definir com confiança políticas relacionadas ao conteúdo de IA.

Tem um caso de uso para detecção de IA? Entre em contacto connosco pelo e-mail info@pangram.com!