Como identificar comentários gerados por IA

Foto de Lisa Fotios.

A pergunta que mais me fazem é: «Como é que se consegue detectar um texto gerado por IA?» Afinal, o ChatGPT é tão bom. E quando o único indício são as palavras na página, como é que se pode sequer começar a adivinhar a origem? Bem, como se costuma dizer, o estilo é a assinatura do autor.

Se passar tempo suficiente a ler Brandon Sanderson, será capaz de reconhecer o seu estilo de escrita, mesmo que veja um excerto fora do contexto. Se passar tempo suficiente a corrigir redacções de alunos do ensino básico, será capaz de distinguir os alunos do 7.º ano dos do 9.º ano. E estamos com sorte, porque não só o ChatGPT é mais distinto do que qualquer um desses casos, como também temos muito mais exemplos com que trabalhar.

Vamos começar com um exemplo simples — aqui temos uma avaliação no Google Maps:

O Pouch Camporee Field ocupa um lugar especial no coração dos escuteiros, e não tenho palavras para descrever o quanto este local é fantástico para o escotismo. É um verdadeiro paraíso para os escuteiros, e não poderia estar mais satisfeito com a minha experiência lá.

O parque de campismo em si está excepcionalmente bem equipado, com amplo espaço para acampar, várias áreas de atividades e instalações bem conservadas. O belo cenário natural torna-o o local perfeito para os escuteiros se conectarem com a natureza e aprenderem competências essenciais para a vida ao ar livre. O ambiente é tranquilo e promove um sentimento de camaradagem entre os escuteiros e os líderes.

O Pouch Camporee Field oferece uma vasta gama de atividades e oportunidades para o desenvolvimento de competências. Quer se trate de orientação, trabalhos manuais ou workshops sobre distintivos de mérito, há sempre algo interessante em que participar. Os programas são cuidadosamente organizados e os membros da equipa não só são experientes como também profundamente empenhados no movimento escuteiro.

O espírito de comunidade e tradição no Pouch Camporee Field é notável. O espírito do escotismo está bem vivo aqui, e é verdadeiramente inspirador ver tantos jovens escuteiros reunidos para aprender, crescer e divertir-se. A dedicação da equipa e dos voluntários em garantir uma experiência segura e memorável é altamente louvável.

A localização do Pouch Camporee Field é ideal, oferecendo um ambiente sereno e isolado, mas de fácil acesso. É um local excelente para as tropas se reunirem, estreitarem laços e criarem memórias inesquecíveis.

Em resumo, o Pouch Camporee Field é um lugar onde os sonhos escoteiros se tornam realidade. Com as suas instalações bem equipadas, programas envolventes e um forte espírito de comunidade escoteira, é um tesouro para escuteiros de todas as idades. Estou ansioso por regressar a este destino escoteiro excecional e continuar a criar memórias e a desenvolver competências com o meu grupo. Palavra de escuteiro!

Qual é a primeira coisa que se nota nesta crítica? É muito mais longa do que uma crítica normal e contém muito mais adjetivos e advérbios do que uma crítica normal. Além disso, a maioria destes termos descritivos carece de conteúdo, para além de serem genericamente positivos (fantástico, excecionalmente, belo, perfeito, atencioso). Reparo em muitos clichés, tais como «não tenho palavras para elogiar» e «não poderia estar mais satisfeito».

Outro aspeto a ter em conta é que o ChatGPT costuma repetir o prompt — repare que o nome completo do local consta na primeira frase da crítica. Enquanto uma pessoa normal sabe que o leitor já conhece o contexto da página em que se encontra, o ChatGPT certifica-se de que a resposta responde integralmente ao prompt.

Um dos principais indícios de que um texto foi gerado por IA é a sua estrutura altamente rígida. Repare que, nesta crítica, há uma introdução, seguida de um parágrafo para cada aspeto da crítica e, por fim, uma conclusão? Este é um padrão muito comum que surge constantemente — os seres humanos variam muito mais a estrutura dos seus parágrafos e frases.

Agora, vamos tentar aplicar estes conhecimentos a um domínio diferente. As avaliações do ChatGPT estão por toda a parte na Amazon — basta dar uma vista de olhos a alguns dos produtos mais vendidos para ver que as suas secções de avaliações estão repletas de IA.

Vamos dar uma olhadela a duas avaliações do mesmo produto na Amazon e classificá-las na mesma escala de antes.

Exemplo 1 - Crítica na Amazon sobre uma garrafa de água.

Esta é a minha garrafa de água preferida deste ano! O que mais gosto nela é a possibilidade de beber a pequenos goles ou de dar um grande trago.

Estou muito satisfeito com o canudo integrado; é muito fácil beber através dele. E isto vem de alguém que já teve várias garrafas com canudos integrados: esta garrafa Owalla é a melhor de 2023.

Outra excelente opção é a possibilidade de beber com a boca aberta. Mais uma vez, um design realmente inteligente: nunca tenho a sensação de que vou acabar por salpicar água na cara ou de que ela vai entrar-me pelo nariz quando dou um grande gole.

O isolamento térmico é mediano. Cumpre a função de manter as minhas bebidas frescas. Tivemos um tempo incrivelmente quente aqui na Califórnia este ano; por isso, tenho colocado mais gelo na minha água. E esta garrafa mantém-na fresca durante toda a noite.

Há alguns pontos negativos; não gosto do peso. É mais pesada do que outras garrafas térmicas que já tive. Além disso, é preciso pressionar com força para fechar a tampa. Acho que isto é algo em que a Owala precisa de trabalhar na sua versão 2.0.

No geral, estou muito satisfeito com esta garrafa. Agora é a minha escolha diária, tendo substituído a minha Takeya. Gosto tanto do design da garrafa que comprei a versão desportiva (mais leve)! Podiam melhorar o design da tampa e espero que o façam no próximo modelo.

1. Longo - Sim
2. Descritores vazios — apenas um (a sério)
3. Clichés - Nenhum
4. Repete o que foi pedido - Não, apenas «garrafa de água».
5. Texto muito bem estruturado — a introdução, os pontos-chave e a conclusão estão presentes, mas o parágrafo sobre os contras é irregular e parece um pouco deslocado

No geral, eu classificaria isto com 1,5/5 nesta escala. O simples facto de ser um texto longo não é sinal suficiente para afirmarmos que foi escrito por IA. É altamente provável que tenha sido escrito por um ser humano.

Exemplo 2 - Crítica na Amazon sobre a mesma garrafa de água.

Comprei recentemente a garrafa térmica Owala de 700 ml e rapidamente se tornou a minha escolha preferida para me manter hidratado ao longo do dia. A primeira coisa que me chamou a atenção foi o design: elegante, moderno e disponível numa variedade de cores vivas. A garrafa parece resistente, mas leve, perfeita para o uso diário.

Em termos de funcionalidade, não desilude. É à prova de fugas e tem isolamento térmico, o que significa que as minhas bebidas permanecem frescas durante horas, mesmo nos dias mais quentes. O canudo incorporado é uma verdadeira revolução para beber em movimento, sem o incómodo de ter de desaparafusar a tampa ou inclinar a garrafa.

O que mais aprecio é a atenção aos detalhes. A palhinha tem uma capa que a mantém limpa, e a garrafa cabe na maioria dos suportes para copos dos carros e nos bolsos laterais das mochilas, o que a torna incrivelmente prática para viajar. Além disso, a alça em forma de laço é perfeita para transportar a garrafa ou prendê-la a uma mala.

A limpeza é muito fácil, o que é sempre uma preocupação no caso das garrafas reutilizáveis. A boca larga permite a utilização de uma escova para garrafas e os componentes do canudo podem ser desmontados para uma limpeza minuciosa.

Em resumo, a garrafa Owala é um produto cuidadosamente concebido que cumpre a sua promessa de praticidade e estilo. É uma companhia de confiança para quem pretende aumentar a ingestão de água sem complicações. Recomendo vivamente!

1. Longo - Sim
2. Descritores em branco - Elegante, moderno, incrível, cuidadosamente pensado
3. Clichés - «a primeira coisa que me chamou a atenção», «uma revolução», «cumpre o que promete», «sem complicações»
4. Repete o que foi solicitado - Sim, o nome completo do produto: «Garrafa térmica Owala de 700 ml»
5. Texto altamente estruturado - Sim, introdução, 3 pontos-chave e um resumo.

Parece que estamos a 5 em 5 no que diz respeito a sinais específicos de IA. Diria que é quase certo que foi escrito por uma IA.

É ótimo ver que o nosso «modelo» interno se generalizou! Nenhum destes pontos é, por si só, uma prova irrefutável, mas quando todos os sinais apontam na mesma direção, é possível somá-los e tirar as suas próprias conclusões. Diga-me o que acha! Pode encontrar-me no Twitter em @max_spero_ ou enviar-me um e-mail para max [at] pangram.com.