Três por cento das críticas na primeira página da Amazon são agora geradas por IA

O conteúdo gerado por IA tornou-se a norma e pode estar presente em tudo, desde revistas académicas a manchetes de notícias e trabalhos académicos. Agora, a IA está também a afetar os nossos hábitos de compra.

A Amazon foi a primeira retalhista online a introduzir uma funcionalidade de avaliações de clientes, mas o sistema está potencialmente a ser manipulado por grandes modelos de linguagem (LLMs), como o ChatGPT, o Claude e o Gemini. Deixar avaliações geradas por IA é uma prática ilegal ao abrigo da legislação federal dos EUA.

A Amazon afirmou que estão a ser utilizadas ferramentas sofisticadas para identificar históricos de avaliações suspeitos e remover as avaliações geradas por IA antes que um cliente as encontre.

O nosso estudo

A nossa investigação sugere que a Amazon ainda tem trabalho pela frente.

Na Pangram, queríamos descobrir quantas avaliações na Amazon são geradas por IA e se estas tendem a ser mais positivas ou negativas em comparação com as escritas por pessoas.

Para tal, recolhemos 30 000 avaliações de produtos em destaque na primeira página, abrangendo 500 dos produtos mais vendidos da Amazon, e analisámo-las com o nosso detetor de IA. Analisámos dez categorias de produtos mais vendidos, incluindo artigos para bebés, brinquedos e jogos, computadores portáteis, dispositivos médicos, bem-estar e relaxamento, beleza e mobiliário. Registámos a classificação por estrelas de cada avaliação e se se tratava ou não de uma «Compra Verificada».

Encontrámos indícios generalizados de avaliações geradas por IA nos livros mais vendidos da Amazon

Constatámos que 3% do total de avaliações analisadas — 909 avaliações no total — foram geradas por IA com um elevado grau de confiança. Com o acesso cada vez maior a ferramentas de IA como o ChatGPT Agent, as fábricas de conteúdo podem produzir automaticamente avaliações geradas por IA em grande escala. A menos que as plataformas tomem medidas, em breve será difícil confiar em qualquer avaliação na Internet.

A IA escreve mais críticas de cinco estrelas do que os humanos

Dos 500 best-sellers da Amazon que analisámos, 74% das avaliações escritas por IA atribuíram aos produtos uma classificação de 5 estrelas. Em comparação, 59% das avaliações legítimas escritas por humanos fizeram o mesmo. O inverso também é verdadeiro: os humanos escreveram mais avaliações de 1 estrela do que a IA, 10% contra 22%.

E quanto às avaliações com a indicação «Compra verificada»?

O selo «Compra verificada» é frequentemente utilizado pelos clientes como um sinal fiável de confiança: indica que o autor da avaliação comprou efetivamente o produto. O nosso estudo revelou que 93% das avaliações geradas por IA na primeira página (93%) apresentavam o selo «Compra verificada», o que demonstra que este selo, por si só, já não é um símbolo fiável de confiança.

Se uma crítica foi escrita por IA, até que ponto é fiável?

É provável que algumas avaliações sejam escritas por vendedores que utilizam modelos de linguagem de grande escala (LLMs) para simular comentários e elevar a classificação dos seus produtos. Outras podem ser escritas por clientes bem-intencionados que não têm tempo para escrever uma avaliação por conta própria ou não conseguem encontrar as palavras certas para descrever a sua opinião sobre um produto.

Isso não importa, porque o resultado é uma representação potencialmente imprecisa de um produto.

Se as avaliações escritas por IA estiverem a inflacionar as classificações dos produtos, isso poderá afetar diretamente as decisões de compra.

É justo reconhecer que a Amazon tem tentado combater as avaliações criadas por IA, mas, com base nas conclusões do estudo, os seus esforços não estão a surtir o efeito desejado.

O número de avaliações geradas por IA que escapam à deteção sugere que a Amazon ainda tem trabalho a fazer.

As avaliações geradas por IA minam a confiança e, uma vez que as avaliações online são um dos principais fatores em que nos baseamos para decidir comprar um produto, podemos começar a duvidar se vale a pena fazer essa compra.

Como identificar comentários gerados por IA

Ao ler as avaliações, procure por menções a detalhes específicos do produto. Comentários genéricos ou linguagem vaga podem ser um indício de que a avaliação foi gerada por IA.

Se pretender deixar uma avaliação, resista à tentação de usar o ChatGPT ou outro modelo de linguagem de grande escala (LLM). A sua experiência e opinião sinceras são importantes e podem ajudar as pessoas a tomar uma decisão informada sobre a compra de um produto.

Também pode utilizar o detetor de IA do Pangram para verificar se as avaliações que está a ler são genuínas. A nossa extensão para o Chrome permite-lhe selecionar qualquer texto na Internet para verificar se contém conteúdo gerado por IA.

Conclusão

Apesar de as avaliações geradas por IA serem ilegais, continuam a passar despercebidas e a induzir os clientes em erro. Nem mesmo a própria Amazon consegue detetar todas essas avaliações!

As empresas têm a responsabilidade de garantir que os clientes recebam informações verdadeiras sobre os produtos, e não a opinião do ChatGPT; por isso, é necessário tomar mais medidas para impedir que essas informações sejam publicadas em sites de comércio eletrónico.