Como identificar avaliações feitas por IA

Foto de Lisa Fotios.

A pergunta mais comum que me fazem é: «Como é possível detetar texto gerado por IA?» Afinal, o ChatGPT é muito bom. E quando o único sinal é as palavras na página, como é possível sequer começar a adivinhar a fonte? Bem, como se costuma dizer, o estilo é o caráter.

Passe tempo suficiente a ler Brandon Sanderson e será capaz de reconhecer a sua escrita, mesmo que veja um trecho fora do contexto. Passe tempo suficiente a corrigir ensaios de alunos do ensino básico e será capaz de distinguir os alunos do 7.º ano dos do 9.º ano. E estamos com sorte, porque o ChatGPT não só é mais distinto do que qualquer um desses, como também temos muito mais exemplos para trabalhar.

Vamos começar com um exemplo fácil - aqui temos uma avaliação no Google Maps:

O Pouch Camporee Field ocupa um lugar especial no coração dos escuteiros, e não tenho palavras para descrever este fantástico local para atividades escuteiras. É um verdadeiro paraíso para os escuteiros, e não poderia estar mais satisfeito com a minha experiência lá.

O parque de campismo em si está excepcionalmente bem equipado, com amplo espaço para acampar, várias áreas de atividades e instalações bem conservadas. Os belos cenários naturais tornam-no o local perfeito para os escuteiros se conectarem com a natureza e aprenderem habilidades essenciais para atividades ao ar livre. O ambiente é tranquilo e promove um sentimento de camaradagem entre os escuteiros e os líderes.

O Pouch Camporee Field oferece uma ampla variedade de atividades e oportunidades para o desenvolvimento de habilidades. Seja orientação, pioneirismo ou workshops para obtenção de distintivos de mérito, há sempre algo interessante para participar. Os programas são cuidadosamente organizados e os membros da equipa não só são conhecedores, mas também profundamente comprometidos com o movimento escoteiro.

O sentido de comunidade e tradição no Pouch Camporee Field é notável. O espírito do escotismo está vivo e bem aqui, e é verdadeiramente inspirador ver tantos jovens escoteiros reunidos para aprender, crescer e divertir-se. A dedicação da equipa e dos voluntários em garantir uma experiência segura e memorável é altamente louvável.

A localização do Pouch Camporee Field é ideal, oferecendo um ambiente sereno e isolado, mas ainda assim de fácil acesso. É um excelente local para as tropas se reunirem, criarem laços e memórias duradouras.

Em resumo, o Pouch Camporee Field é um lugar onde os sonhos escuteiros se tornam realidade. Com as suas instalações bem equipadas, programas envolventes e um forte sentido de comunidade escuteira, é um tesouro para escuteiros de todas as idades. Estou ansioso por regressar a este destino escuteiro excecional e continuar a construir memórias e competências com o meu grupo. Palavra de escuteiro!

Qual é a primeira coisa que você nota nesta crítica? O tamanho é muito maior do que o de uma crítica comum e tem muito mais adjetivos e advérbios do que uma crítica comum. Além disso, a maioria desses descritores carece de conteúdo, além de serem genericamente positivos (fantástico, excepcional, bonito, perfeito, atencioso). Reparo em muitos clichés, como «não tenho palavras para descrever» e «não poderia estar mais satisfeito».

Outra coisa a ter em atenção é que o ChatGPT costuma repetir a pergunta - repare que o nome completo do local está na primeira frase da crítica. Enquanto uma pessoa normal sabe que o leitor já tem o contexto da página em que está, o ChatGPT garante que a resposta responda totalmente à pergunta.

Uma das maiores características da escrita gerada por IA é a escrita altamente estruturada. Repare que nesta crítica há uma introdução, depois um parágrafo para cada aspeto da crítica e, por fim, uma conclusão. Este é um padrão muito comum que aparece constantemente — os humanos variam muito mais a estrutura dos seus parágrafos e frases.

Agora, vamos tentar aplicar esses aprendizados a um domínio diferente. As avaliações do ChatGPT estão por toda parte na Amazon — veja alguns dos produtos mais vendidos e você verá que as seções de avaliações estão repletas de IA.

Vamos dar uma olhada em duas avaliações do mesmo produto na Amazon e classificá-las na mesma escala de antes.

Exemplo 1 - Crítica da Amazon sobre uma garrafa de água.

Esta é a minha garrafa de água favorita do ano! O que eu gosto nela é a opção de beber aos poucos ou de um só gole.

Estou muito satisfeito com o canudo integrado, é muito fácil beber através dele. E isto vem de alguém que já teve várias garrafas com canudos integrados, esta garrafa Owalla é a melhor de 2023.

Outra ótima opção é a possibilidade de beber com a boca aberta. Mais uma vez, um design realmente inteligente, nunca sinto que vou espirrar água no rosto ou no nariz quando bebo um gole maior.

O isolamento é mediano. Cumpre a sua função de manter os líquidos frescos. Este ano, temos tido um tempo incrivelmente quente aqui na Califórnia, por isso tenho colocado mais gelo na minha água. E esta garrafa mantém-na fresca durante toda a noite.

Existem contras, não gosto do peso. É mais pesada do que outras garrafas térmicas que já tive. Além disso, é preciso pressionar com força para fechar a tampa. Acho que isso é algo que a Owala precisa melhorar na versão 2.0.

No geral, estou muito satisfeito com esta garrafa. Agora é a minha garrafa do dia a dia, substituindo a minha Takeya. Gosto tanto do design da garrafa que comprei a versão desportiva (mais leve)! Podiam melhorar o design da tampa e espero que o façam no próximo modelo.

1. Longo - Sim
2. Descritores vazios - apenas um (na verdade)
3. Clichés - Nenhum
4. Repete o prompt - Não, apenas «garrafa de água».
5. Redação altamente estruturada - Introdução, pontos-chave e conclusão estão presentes, mas o parágrafo sobre os contras é irregular e um pouco fora de lugar.

No geral, eu classificaria como 1,5/5 nesta escala. O simples facto de ser longo não é sinal suficiente para afirmarmos que foi escrito por IA. É altamente provável que tenha sido escrito por um humano.

Exemplo 2 - Avaliação da Amazon sobre a mesma garrafa de água.

Comprei recentemente a garrafa térmica Owala de 700 ml e ela rapidamente se tornou a minha escolha preferida para me manter hidratado ao longo do dia. A primeira coisa que me chamou a atenção foi o design: elegante, moderno e disponível em várias cores vibrantes. A garrafa parece resistente, mas leve, perfeita para uso diário.

Em termos de funcionalidade, não desilude. É à prova de fugas e isolada, o que significa que as minhas bebidas permanecem frias durante horas, mesmo nos dias mais quentes. A palhinha incorporada é uma grande inovação para beber em movimento sem o incómodo de ter de desaparafusar a tampa ou inclinar a garrafa.

O que mais aprecio é a atenção aos detalhes. O canudo tem uma tampa que o mantém limpo e a garrafa cabe na maioria dos suportes para copos de carros e bolsos laterais de mochilas, tornando-a incrivelmente prática para viagens. Além disso, a alça é perfeita para transportar ou prender a uma bolsa.

A limpeza é muito fácil, o que é sempre uma preocupação com garrafas reutilizáveis. A boca larga acomoda uma escova para garrafas e os componentes do canudo podem ser desmontados para uma limpeza completa.

Em resumo, a garrafa Owala é um produto cuidadosamente concebido que cumpre a sua promessa de conveniência e estilo. É uma companhia fiável para quem quer aumentar a ingestão de água sem complicações. Recomendo vivamente!

1. Longo - Sim
2. Descritores vazios - Elegante, moderno, incrível, cuidadoso
3. Clichés - «a primeira coisa que me impressionou», «revolucionário», «cumpre o que promete», «sem complicações»
4. Repete o prompt - Sim, o nome completo do produto “Garrafa térmica Owala de 700 ml”
5. Redação altamente estruturada - Sim, introdução, 3 pontos principais e um resumo.

Parece que são 5 em 5 em sinais específicos de IA. Eu diria que é quase certo que foi escrito por IA.

É ótimo ver que o nosso «modelo» interno se generalizou! Nenhum destes pontos é, por si só, uma prova irrefutável, mas quando todos os sinais apontam na mesma direção, é possível somá-los e tirar as suas próprias conclusões. Diga-me o que pensa! Pode encontrar-me no Twitter em @max_spero_ ou enviar-me um e-mail para max [at] pangram.com.