Como identificar textos escritos por IA

O ChatGPT escreve 2000 palavras de porcaria em questão de segundos

O ChatGPT e outros grandes modelos de linguagem (LLMs), geralmente designados em conjunto por «IA», tornaram-se ferramentas cada vez mais populares. A sua aplicação mais comum é como assistente, permitindo ao utilizador conversar diretamente com o modelo de linguagem. No entanto, os LLMs são cada vez mais utilizados para criar «slop», um termo que designa conteúdo de IA indesejado ou gerado de forma descuidada. Um exemplo de «slop» de IA é uma publicação num blogue totalmente escrita pelo ChatGPT e publicada na Internet com o objetivo de gerar tráfego de pesquisa. Outro exemplo de «slop» de IA é uma empresa que tenta melhorar as suas classificações utilizando IA para escrever várias críticas longas e elogiosas.

A Pangram Labs treinou um modelo de aprendizagem automática de alta precisão para classificar textos gerados por IA. No final do treino, o modelo já tinha analisado centenas de milhões de exemplos de textos escritos por humanos e gerados por IA. Este artigo irá ajudá-lo a desenvolver a sua própria intuição para identificar textos gerados por IA, de preferência com menos exemplos.

Falei com educadores, orientadores de admissões e editores que foram todos obrigados a adquirir esta competência no último ano, devido ao enorme aumento na utilização da IA. Este artigo é uma compilação das informações que obtive junto deles, bem como das técnicas que utilizamos internamente na Pangram para integrar os novos colaboradores. Afinal, não é possível treinar um bom modelo de aprendizagem automática se não estivermos familiarizados com a própria tarefa.

TL;DR

• Procure expressões comuns relacionadas com a IA.
• Peça ao ChatGPT para gerar vários exemplares do tipo de documento que está a tentar detetar e procure semelhanças.
• Experimente tornar a escrita gerada por IA indetetável e procure o que se destaca.
• Utilize um verificador de plágio para aperfeiçoar a sua intuição.

Componentes da escrita

Tema

Em geral, a IA não pode escolher o seu próprio tema — é-lhe pedido que escreva sobre algo específico. Mesmo assim, a IA demonstrará um viés em relação aos subtemas que ela própria escolhe. Por exemplo, se eu pedir ao ChatGPT para me escrever um ensaio sobre o simbolismo em Moby Dick, é provável que ele escolha o mesmo conjunto de temas mais óbvios. No entanto, qualquer aluno poderia pedir ao ChatGPT para escrever especificamente sobre uma determinada forma de simbolismo no livro, e o ChatGPT seria capaz de escrever sobre isso. Por essa razão, não dou muita importância ao tema quando estou a avaliar se um texto é da IA ou não.

Estrutura

Quando solicitada a escrever documentos completos, a IA costuma recorrer a uma determinada estrutura por padrão. Peça-lhe para escrever uma publicação de blogue e ela começará com uma introdução, 3-4 parágrafos, alguns pontos-chave e uma conclusão que resume a publicação. Da mesma forma, se eu quiser que a IA me escreva uma crítica a um restaurante, ela começará frequentemente por dizer «Recentemente, tive o prazer de jantar no ____», falará sobre a comida, o ambiente e o serviço, e concluirá com um entusiástico «Altamente recomendado». Embora a estrutura padrão também possa ser alterada («Escreve-me um post de blogue com 20 parágrafos», «Mantém a crítica curta, não menciones o nome do restaurante»), isso exige um esforço que muitos utilizadores não estão dispostos a despender. Quando a escrita é estruturada de forma semelhante a outros textos de IA, isso é um forte indício inicial para se aprofundar mais.

Estilo

No póquer, a palavra «tell» refere-se a um indício que alguém revela inconscientemente quando faz um blefe. Por exemplo, quando alguém está nervoso, pode ficar a mexer nos óculos, revelando assim informações sobre as suas apostas. Da mesma forma, na Pangram, referimo-nos a certas palavras ou frases como «tells da IA» — trata-se de palavras ou frases que o ChatGPT ou outros modelos linguísticos utilizam de forma desproporcional, e que constituem um sinal muito claro da origem da IA assim que se começa a repará-las.

«Delve» é um exemplo extremo de um indício de IA, uma vez que o ChatGPT utiliza essa palavra com muito mais frequência do que seria habitual no inglês americano normal.

Também reparei que «Tive recentemente o prazer de» é uma expressão comum em críticas a restaurantes e que o ChatGPT consegue sempre inserir a palavra «entusiasmado» se lhe pedirmos para escrever uma carta de apresentação. Mesmo com instruções muito específicas, os modelos de linguagem de grande escala (LLMs) são fortemente influenciados por tendências estilísticas internas. Por essa razão, o estilo é um indicador importante ao qual dou grande importância.

Aqui está uma lista de frases comuns sobre IA que podem servir de ponto de partida. (Fontes: reddit, aiphrasefinder.com)

• «É importante referir que»
• "Mergulhe em"
• "Tapeçaria"
• "Vibrante"
• "Animado"
• «Em resumo» ou «Em conclusão»
• «Lembra-te disso...»
• "Mergulhe no"
• «Navegar», ou seja, «navegar pelo panorama», «navegar pelas complexidades de»
• «Paisagem», ou seja, «A paisagem de...», especialmente «uma paisagem em constante evolução»
• «Testamento», ou seja, «um testemunho de...»
• "No mundo de"
• "Reino"
• "Embarcar"
• "Sinfonia"
• "Abraçar"
• "Quer sejas X ou Y"
• "Quando se trata de"

Técnicas para melhorar a sua intuição

As frases são um bom ponto de partida, mas muitas vezes a IA gera textos que são claramente escritos por IA, mas que não utilizam nenhuma dessas frases. Para melhorar esta competência, teremos de dedicar algum tempo a estudar efetivamente a escrita da IA.

Estudar a escrita com IA

Pode ser desagradável para alguns ou emocionante para outros, mas se quiseres identificar a IA, precisas de saber como é a escrita gerada por IA. Ajuda se tiveres um tipo específico de texto que queiras ser capaz de identificar. Digamos que eu queira tornar-me realmente bom a identificar e-mails gerados por IA. A primeira coisa a fazer é pedir ao ChatGPT para escrever um e-mail de apresentação inicial. Um e-mail de agradecimento. Um e-mail de marketing. Repete o processo algumas vezes, alterando o prompt e anotando as semelhanças entre cada iteração. Em seguida, tenta novamente com o Claude e o Gemini, continuando a procurar padrões.

Assunto: Explorar oportunidades de colaboração com a OpenAI

Caro [Nome do fundador],

Espero que esteja tudo bem consigo. Chamo-me [O seu nome] e sou [O seu cargo] na [A sua empresa/organização], onde nos especializamos em [descreva resumidamente a sua área de atuação ou especialização]. Tenho acompanhado os avanços revolucionários da OpenAI no campo da inteligência artificial e estou verdadeiramente impressionado com o vosso compromisso com o desenvolvimento ético da IA e com o impacto transformador dos vossos projetos.

Estou a contactá-lo para explorar possíveis oportunidades de colaboração entre as nossas organizações. Acredito que a combinação das capacidades de IA da OpenAI com a nossa experiência em [o seu domínio ou tecnologia específica] poderá conduzir a soluções inovadoras que impulsionem ainda mais o avanço neste domínio e criem um valor substancial.

Gostaria muito de ter a oportunidade de discutir este assunto mais aprofundadamente e explorar formas de trabalharmos em conjunto para alcançarmos os nossos objetivos comuns. Será que poderíamos marcar uma breve chamada ou reunião, quando lhe for mais conveniente? Tenho flexibilidade em termos de horários e terei todo o prazer em adaptar-me à sua agenda.

Obrigado por considerar esta oportunidade. Espero ansiosamente pela possibilidade de trabalharmos juntos e de contribuir para os emocionantes desenvolvimentos na OpenAI.

Cumprimentos,

[O seu nome completo]

[A sua função]

[A sua empresa/organização]

[Informações de contacto]

[Perfil no LinkedIn ou site] (opcional)

Jogar jogos de adversários

Quando estávamos a fundar a Pangram Labs, realizámos inúmeras sessões do que chamámos de «The Human Baseline». As regras são simples. Escolhe-se um tema. A nossa primeira «Human Baseline» foi dedicada às redações de admissão à universidade. A Pessoa A reúne cinco redações de admissão à universidade escritas por humanos. Em seguida, a Pessoa A utiliza o ChatGPT ou outro LLM para criar cinco redações escritas por IA. Mistura-as e apresenta as dez redações como um teste para a Pessoa B classificar quais foram escritas por IA. A Pessoa B pode fazer o teste e explicar o seu raciocínio. Isto cria uma base de referência para avaliar a facilidade com que estas redações são detetáveis e ajuda a desenvolver heurísticas.

Para ir um pouco mais além, a Pessoa B pode usar as suas descobertas para criar uma referência humana mais complexa, fornecendo mais dados ao LLM ou pedindo-lhe que evite as frases que tornam a resposta óbvia. Estas interações podem aperfeiçoar ainda mais a sua intuição e também ajudá-lo a perceber quais os padrões de resposta da IA que continuam a surgir.

Para ter uma ideia de como seria uma avaliação humana de referência, veja estas duas avaliações. Uma é do Yelp e a outra é do GPT-4.

Caso não seja óbvio, o primeiro exemplo foi criado por IA e o segundo por um ser humano. Especifiquei tanto o tema (Textbook Cafe, em Brooklyn) como a estrutura (um parágrafo), mas o estilo do ChatGPT é tão característico que a diferença continua a ser evidente. Tenta criar um tu mesmo e partilha com um amigo!

Utilize ferramentas concebidas para a deteção de IA

A Pangram Labs dedicou inúmeras horas ao treino de modelos de aprendizagem automática que aprenderam com centenas de milhões de documentos para distinguir da melhor forma o conteúdo escrito por IA e o escrito por humanos. Por isso, já agora, vou aproveitar para fazer um pouco de autopromoção. O nosso painel permite colar texto ou carregar documentos; por isso, se estiver em dúvida e quiser algo mais concreto do que a intuição para o apoiar, isto irá fornecer-lhe uma classificação e uma pontuação de confiança. O painel também contém uma análise mais aprofundada que mostra quais as palavras ou frases que forneceram mais indícios na classificação. Eu, pessoalmente, utilizo a nossa ferramenta constantemente quando vejo algo na Internet que me levanta suspeitas, e espero que também lhe possa ser útil.

Tem perguntas? Comentários? Encontrou algum erro grave de IA e quer partilhar? Entre em contacto no Twitter/X através de @max_spero_.

Quer pôr a sua intuição à prova? Experimente a ferramenta de deteção de IA da Pangram para analisar qualquer texto à procura de conteúdo gerado por IA.