Como detectar textos escritos por IA

O ChatGPT escreve 2000 palavras sem sentido em questão de segundos.

O ChatGPT e outros grandes modelos de linguagem (LLMs), comumente referidos em conjunto como "IA", têm-se tornado ferramentas cada vez mais populares. O seu caso de uso mais comum é como assistente, onde um utilizador pode conversar diretamente com o modelo de linguagem. No entanto, os LLMs são cada vez mais usados para criar slop, um termo para conteúdo de IA indesejado ou gerado de forma preguiçosa. Um exemplo de slop de IA é uma publicação de blogue totalmente escrita pelo ChatGPT e publicada na Internet com o objetivo de direcionar o tráfego de pesquisa. Outro exemplo de slop de IA é uma empresa que tenta aumentar as suas classificações usando IA para escrever várias críticas longas e elogiosas.

A Pangram Labs treinou um modelo de aprendizagem automática de alta precisão para classificar textos gerados por IA. Ao final do treino, o modelo analisou centenas de milhões de exemplos de textos escritos por humanos e gerados por IA. Esta publicação irá ajudá-lo a desenvolver a sua própria intuição para identificar textos gerados por IA, idealmente com menos exemplos.

Conversei com educadores, orientadores de admissão e editores que foram obrigados a aprender essa habilidade no último ano devido ao aumento maciço no uso da IA. Este artigo é uma combinação de informações que aprendi com eles, bem como técnicas que usamos internamente na Pangram para colocar os novos contratados em dia. Afinal, não é possível treinar um bom modelo de aprendizado de máquina se não estiver familiarizado com a tarefa em si.

TL;DR

• Procure por frases comuns de IA.
• Peça ao ChatGPT para gerar múltiplos do tipo de documento que está a tentar detetar e procure semelhanças.
• Experimente tornar a escrita da IA indetetável e procure o que se destaca.
• Use um verificador de escrita com IA para aprimorar a sua intuição.

Componentes da escrita

Tópico

Geralmente, a IA não escolhe o seu próprio tema — ela é solicitada a escrever sobre algo específico. Mesmo assim, a IA mostrará preconceito em relação aos subtemas que escolhe para si mesma. Por exemplo, se eu solicitar ao ChatGPT que escreva um ensaio sobre o simbolismo em Moby Dick, ele provavelmente escolherá o mesmo conjunto de tópicos mais óbvios. No entanto, qualquer aluno poderia solicitar ao ChatGPT que escrevesse especificamente sobre uma determinada forma de simbolismo no livro, e o ChatGPT seria capaz de escrever sobre isso. Por esse motivo, não dou muita importância ao tópico quando estou a avaliar se um texto é ou não AI.

Estrutura

Quando solicitada a escrever documentos completos, a IA geralmente tem uma certa estrutura que usa por padrão. Peça para escrever uma publicação num blogue e ela começará com uma introdução, 3-4 parágrafos, alguns pontos-chave e uma conclusão resumindo a publicação. Da mesma forma, se eu quiser que a IA escreva uma crítica a um restaurante, ela geralmente começará dizendo «Recentemente, tive o prazer de jantar no ____», falará sobre a comida, o ambiente e o serviço e concluirá com um entusiasmado «Altamente recomendado». Embora a estrutura padrão também possa ser alterada («Escreva-me uma publicação de blogue com 20 parágrafos», «Mantenha a crítica curta, não mencione o nome do restaurante»), isso requer um esforço que muitos utilizadores não estão dispostos a fazer. Quando a escrita é estruturada de forma semelhante a outras escritas de IA, isso é um forte indício inicial para aprofundar a análise.

Estilo

No póquer, a palavra «tell» refere-se a uma pista que alguém dá inconscientemente quando faz bluff. Por exemplo, quando alguém está nervoso, pode mexer nos óculos, revelando informações sobre as suas apostas. Da mesma forma, na Pangram, referimo-nos a certas palavras ou frases como «AI tells» — estas são palavras ou frases que o ChatGPT ou outros modelos de linguagem favorecem desproporcionalmente e são um sinal muito forte da origem da IA, uma vez que se começa a reparar nelas.

«Delve» é um exemplo extremo de uma expressão típica da IA, porque o ChatGPT usa-a com muito mais frequência do que seria normal no inglês americano.

Também notei que «Recentemente, tive o prazer» é uma frase comum em críticas a restaurantes, e o ChatGPT sempre insere a palavra «entusiasmado» quando se pede para escrever uma carta de apresentação. Mesmo com prompts intensos, os LLMs são fortemente influenciados por tendências estilísticas internas. Por esse motivo, o estilo é um sinal forte que eu considero bastante.

Aqui está uma lista de frases comuns de IA para usar como ponto de partida. (Fontes: reddit, aiphrasefinder.com)

• «É importante notar»
• "Mergulhe em"
• "Tapeçaria"
• «Vibrante»
• "Agitado"
• «Em resumo» ou «Em conclusão»
• «Lembre-se disso...»
• "Mergulhe em"
• «Navegar», ou seja, «navegar pela paisagem» «Navegar pelas complexidades de»
• «Paisagem», ou seja, «A paisagem de...», especialmente «paisagem em constante evolução»
• «Testamento», ou seja, «um testemunho de...»
• «No mundo de»
• "Reino"
• "Embarcar"
• "Sinfonia"
• "Abraçar"
• "Seja você X ou Y"
• «Quando se trata de»

Técnicas para melhorar a sua intuição

As frases são uma boa base, mas muitas vezes a IA gera textos que são obviamente escritos por IA, mas que não utilizam nenhuma dessas frases. Para melhorar essa habilidade, precisamos dedicar algum tempo ao estudo da escrita por IA.

Estudar escrita com IA

Pode ser desagradável para alguns ou emocionante para outros, mas se quiser identificar a IA, precisa saber como é a escrita da IA. Ajuda se tiver um tipo específico de texto que deseja identificar. Digamos que eu queira ficar realmente bom em identificar e-mails de IA. A primeira coisa a fazer é pedir ao ChatGPT para escrever um e-mail de apresentação fria. Um e-mail de agradecimento. Um e-mail de marketing. Repita algumas vezes, mudando o prompt e anotando as semelhanças entre cada iteração. Em seguida, tente novamente com Claude e Gemini, continuando a procurar padrões.

Assunto: Explorando oportunidades de colaboração com a OpenAI

Caro [Nome do Fundador],

Espero que esteja tudo bem. O meu nome é [Seu Nome] e sou [Seu Cargo] na [Sua Empresa/Organização], onde nos especializamos em [descreva brevemente a sua área ou especialização]. Tenho acompanhado os avanços revolucionários da OpenAI em inteligência artificial e estou realmente impressionado com o seu compromisso com o desenvolvimento ético da IA e o impacto transformador dos seus projetos.

Estou a entrar em contacto para explorar possíveis oportunidades de colaboração entre as nossas organizações. Acredito que a combinação dos recursos de IA da OpenAI com a nossa experiência em [sua área ou tecnologia específica] poderia levar a soluções inovadoras que promovam ainda mais o avanço da área e criem um valor substancial.

Gostaria muito de ter a oportunidade de discutir este assunto mais detalhadamente e explorar formas de trabalharmos juntos para alcançar os nossos objetivos comuns. Poderíamos marcar uma breve chamada ou reunião, conforme a sua conveniência? Tenho flexibilidade de horários e ficaria feliz em me adaptar à sua agenda.

Obrigado por considerar esta oportunidade. Espero ansiosamente pela possibilidade de trabalharmos juntos e contribuir para os emocionantes desenvolvimentos da OpenAI.

Cumprimentos calorosos,

[Seu nome completo]

[A sua posição]

[Sua empresa/organização]

[Informações de contacto]

[Perfil no LinkedIn ou site] (opcional)

Jogue jogos competitivos

Quando começámos a Pangram Labs, fizemos imenso o que chamámos de «The Human Baseline» (A Base Humana). As regras são simples. Escolhe-se um tema. A nossa primeira base humana foram as redações de admissão. A pessoa A obtém cinco redações de admissão à faculdade escritas por humanos. Em seguida, a pessoa A usa o ChatGPT ou outro LLM para criar cinco redações escritas por IA. Mistura-se tudo e apresenta-se as dez redações como um teste para a pessoa B classificar quais são da IA. A pessoa B pode fazer o teste e apresentar o seu raciocínio. Isto cria uma linha de base para a detetabilidade destas redações e ajuda a desenvolver heurísticas.

Para ir um pouco mais além, a Pessoa B pode usar as suas descobertas para criar uma linha de base humana mais difícil, solicitando mais informações ao LLM ou pedindo-lhe para evitar as frases que tornam isso óbvio. Essas trocas podem melhorar ainda mais a sua intuição e também ajudá-lo a aprender quais histórias de IA continuam a surgir.

Para um exemplo de referência humana, veja estas duas avaliações. Uma é do Yelp e a outra é do GPT-4.

Se não estiver claro, o primeiro exemplo é da IA e o segundo é humano. Especifiquei tanto o tema (Textbook Cafe no Brooklyn) quanto a estrutura (um parágrafo), mas o estilo do ChatGPT é tão forte que ainda assim fica óbvio. Tente criar um seu e partilhe com um amigo!

Use ferramentas criadas para detecção de IA

A Pangram Labs dedicou inúmeras horas ao treino de modelos de aprendizagem automática que aprenderam com centenas de milhões de documentos a diferenciar da melhor forma o conteúdo escrito por IA e por humanos. Por isso, mais vale fazer um pouco de autopromoção. O nosso painel permite colar texto ou carregar documentos, por isso, se estiver inseguro e quiser algo mais concreto do que a intuição para o apoiar, isto irá dar-lhe uma classificação e uma pontuação de confiança. O painel também contém uma análise mais profunda que mostra quais as palavras ou frases que forneceram mais sinais na classificação. Eu pessoalmente uso a nossa ferramenta sempre que vejo algo na Internet que me alerta, e espero que também possa ser útil para si.

Dúvidas? Comentários? Encontrou algum erro grave de IA e quer partilhar? Entre em contacto pelo Twitter/X em @max_spero_.