Relatório Técnico do Pangram 4

O Pangram 4 é o nosso mais recente modelo de deteção de texto por IA, de última geração. Em comparação com o seu antecessor, o Pangram 4 apresenta uma melhoria significativa na distinção entre textos totalmente gerados por IA, de autoria mista e assistidos por IA, ao mesmo tempo que oferece uma granularidade superior, o que permite uma distinção mais precisa entre segmentos escritos por humanos e por IA dentro de um documento. É também robusto contra ferramentas de «humanização» e prompts adversariais, e é significativamente mais preciso nos modelos de ponta mais recentes.

Tanto quanto sabemos, o Pangram 4 é o primeiro modelo de deteção de IA capaz de distinguir simultaneamente, numa única passagem, textos redigidos com a ajuda da IA e textos mistos, redigidos tanto por IA como por humanos.

Principais resultados:

• Nos nossos testes de desempenho, o Pangram 4 identifica corretamente 99,66% dos documentos gerados por IA, ao mesmo tempo que classifica textos escritos por humanos como sendo de IA apenas em 0,0041% dos casos, ou seja, aproximadamente um falso positivo em cada 24 000 documentos.
• O Pangram 4 apresenta melhorias em relação ao Pangram 3 em ambos os aspetos, com quase 6 vezes menos falsos negativos e 14 vezes menos falsos positivos.
• O Pangram 4 não confunde um ligeiro aperfeiçoamento por IA com a geração por IA: classifica a escrita humana aperfeiçoada por IA como totalmente gerada por IA apenas em 0,009% dos casos, o que representa uma redução de 20 vezes em relação ao Pangram 3.
• Quando comparado com 13 humanizadores comerciais populares, o Pangram 4 identifica a intervenção da IA em textos humanizados por IA em 98,83% dos casos.

Autoria mista e assistência por IA

Muitos documentos escritos produzidos atualmente já não se enquadram claramente na categoria de textos inteiramente gerados por IA ou inteiramente escritos por humanos; pelo contrário, vivemos numa época em que a prosa de um texto e a sua argumentação podem, de forma plausível, ter origens diferentes.

Acreditamos que é importante distinguir esta categoria de documentos tanto dos textos gerados inteiramente por IA como dos textos inteiramente escritos por humanos. Isto é importante para nós, tanto porque acreditamos na autoria transparente, como porque, enquanto tecnologia popular e emergente, os modelos de linguagem moldam o mundo de formas que ainda não compreendemos totalmente — mas já temos algumas indicações. Algumas investigações indicam que a utilização de modelos linguísticos para editar texto altera o seu estilo de forma mensurável; por exemplo, artigos académicos reescritos por um LLM tendem a acumular palavras de cautela («pode», «normalmente», «sugere») e palavras de ênfase («forte», «robusto», «consistente»). Estudos relacionados revelam que as edições feitas por um LLM alteram o significado de um texto mesmo quando o modelo recebe instruções para corrigir apenas a gramática, e que as revisões por pares escritas por um LLM ponderam a clareza e a relevância de forma diferente daquela utilizada pelos revisores humanos. Por outro lado, há indícios de que é difícil remover as marcas características de um rascunho gerado por IA, mesmo com uma edição exaustiva: os autores que editam os resultados de um LLM de acordo com o seu estilo pessoal continuam a produzir textos cuja leitura se assemelha mais à escrita do LLM do que à sua própria.

Para abordar o problema, consideramos duas formas principais de combinar a autoria humana e a autoria por IA. No caso de documentos heterogéneos, em que os segmentos são claramente atribuíveis a um autor humano ou a um autor de IA, o Pangram utiliza uma previsão por token. Por outro lado, no caso de um segmento editado iterativamente, em que nenhum token pode ser atribuído de forma definitiva a um único autor humano ou de IA, o Pangram assinala o segmento como assistido por IA.

A diferença entre texto misto heterogéneo e homogéneo.

O Pangram é resistente a humanizadores e a prompts adversários

À medida que a tecnologia de deteção de IA melhora, aumenta também a procura por software que reescreva texto gerado por IA, com o objetivo de contornar a deteção automática. Estas ferramentas visam frequentemente contornar a deteção em contextos em que a autoria é crucial, como o meio académico, a investigação ou a edição. Para combater esta situação, o Pangram 4 dispõe de uma funcionalidade específica para a deteção de texto «humanizado». Quando avaliado em comparação com 13 ferramentas comerciais populares de «humanização», o Pangram identifica o envolvimento da IA em resultados «humanizados» da IA em 98,83% dos casos.

Outra estratégia adversária comum para evitar a deteção é o «prompting adversário», como o humanizador Blader, em que um utilizador instrui um LLM para se afastar do seu estilo de escrita habitual. Para avaliar o nosso desempenho nesse domínio, concedemos a um agente de IA (Codex GPT 5.6 Sol) acesso à API Pangram 4 durante 24 horas, com o objetivo de criar falsos negativos repetíveis.

No âmbito deste esforço, o GPT 5.6 testou uma variedade de estratégias, incluindo a imitação de estilos, registos profissionais concisos e o pré-carregamento de contexto com texto de origem humano. Durante o período de teste, só conseguiu contornar com sucesso uma única vez, imitando notas de patologia cirúrgica ditadas. Embora impressionante, consideramos, em última análise, que esta tentativa está fora do âmbito do estudo, tanto porque a entrada continha mais contexto do que a saída, como porque o texto resultante consistia em pontos concisos, em vez da prosa aberta que normalmente visamos.

Formação e Arquitetura

Para efeitos de determinação da autoria, definimos o texto gerado por IA como prosa original em linguagem natural produzida por um LLM em resposta a uma tarefa de escrita aberta ou a uma pergunta. Exigimos ainda que o LLM contribua com tokens originais e excluímos os casos em que o modelo repete literalmente texto de autoria humana; por exemplo, citando a janela de contexto, recitando conteúdo memorizado ou resumindo cadeias de caracteres introduzidas por humanos.

Dados de treino

Treinámos o Pangram 4 com textos escritos por humanos e gerados por IA, provenientes de uma ampla variedade de domínios, línguas e modelos de IA.

Tal como nas versões anteriores, todos os dados de treino redigidos por humanos estão abrangidos por licenças comerciais ou são propriedade da empresa. Como sempre, o Pangram 4 não foi treinado com quaisquer dados enviados pelos utilizadores, dados de clientes de utilizadores da API ou dados obtidos através de rastreios não autorizados na Internet.

Apresenta-se abaixo uma distribuição aproximada dos domínios no nosso conjunto de dados humanos.

Distribuição aproximada do texto original redigido por humanos, por categoria.

No que diz respeito à parte do nosso conjunto de dados dedicada à IA, geramos internamente todos os exemplos sintéticos utilizando 75 dos modelos mais populares, incluindo todos os modelos da OpenAI e da Anthropic atualmente disponíveis. O nosso objetivo ao construir o nosso conjunto de dados sintético é fornecer contexto para ajudar o modelo a aprender como um texto foi escrito, em vez de se limitar a absorver indicadores de tema, linguagem ou tom do texto gerado pela IA.

Para reduzir os falsos positivos em textos escritos por humanos com um estilo invulgar, aplicamos um modelo candidato treinado a um conjunto de reserva de textos humanos, com o objetivo de identificar os itens que o modelo candidato classifica erroneamente como gerados por IA. Em seguida, geramos réplicas sintéticas dos itens classificados erroneamente e voltamos a treinar o modelo candidato com base no conjunto combinado. Chamamos a este método «mineração de negativos difíceis».

Arquitetura

O Pangram 4 é o nosso maior modelo até à data, com seis vezes mais parâmetros do que o Pangram 3.3. O Pangram 4 apresenta várias alterações arquitetónicas significativas em comparação com o seu antecessor. É também o nosso primeiro modelo de «mistura de especialistas», no qual um mecanismo de encaminhamento esparso direciona diferentes tipos de entrada para diferentes partes da rede neural. Acreditamos que este tipo de arquitetura será adequado para a deteção por IA, devido ao vasto leque de possibilidades de entrada.

Visão geral da arquitetura do Pangram 4.

Mecânica da previsão

A fim de aumentar a resolução das suas previsões, o Pangram 4 prevê três pontuações para cada token numa determinada cadeia de caracteres de entrada, correspondentes à sua estimativa sobre se esse token foi escrito por um ser humano, assistido por IA ou gerado por IA. Os documentos mais longos são pontuados em janelas sobrepostas de 512 tokens, de modo que, para cada janela, obtemos também uma pontuação ao nível da janela, juntamente com uma agregação das pontuações ao nível do token. Todas as pontuações são, em seguida, calculadas em média e suavizadas para evitar oscilações espúrias nas previsões de tokens individuais. Este método substitui a abordagem anterior, que consistia em dividir o texto em blocos de forma simplista durante o pré-processamento, e é o que nos permite inferir com precisão a fronteira entre o conteúdo gerado por IA e o conteúdo humano.

Desempenho e testes de desempenho

Com o objetivo de modelar com precisão casos de utilização reais de LLM, avaliámos o Pangram 4 em textos escritos por humanos, gerados por IA e assistidos por IA, utilizando uma variedade de benchmarks padrão e de desafio.

Falsos positivos

No que diz respeito à parte do conjunto de teste relativa a textos escritos por humanos, o Pangram 4 foi avaliado num conjunto de 2 milhões de documentos com licença comercial, anteriores a 2022, que não foram utilizados no treino do modelo. Neste teste de desempenho, o Pangram 4 atinge uma taxa de falsos positivos de 0,0041%, com um intervalo de confiança de 95% de (0,0032%, 0,0050%). Isto corresponde a um falso positivo aproximadamente a cada 24 000 documentos.

Falsos negativos no conjunto de dados gerado por IA

Construímos este benchmark a partir de prompts de utilizadores recolhidos nas conversas da Chatbot Arena; selecionámos este conjunto de prompts com o objetivo de refletir a distribuição real dos prompts que os utilizadores enviam aos LLMs. Em seguida, utilizámos um modelo de linguagem de pequena dimensão (Mistral-Small-24B-Instruct-2501) para filtrar quaisquer prompts que solicitassem ajuda em matemática ou programação, bem como respostas de escolha múltipla, uma vez que considerámos que estes estavam fora do âmbito do estudo. Após a filtragem, ficámos com um conjunto abrangente de 20 000 solicitações que suscitaram respostas abertas por parte dos modelos. A partir de cada solicitação deste conjunto, gerámos uma resposta para cada um dos 26 modelos de linguagem do nosso conjunto, incluindo o GPT-5.5, o Claude Opus 4.8 e o Gemini 3.1 Pro, num total de 519 993 amostras avaliadas com sucesso.

Neste teste de desempenho, o Pangram 4 atinge uma taxa global de falsos negativos de 0,3396%, em comparação com a FNR de 1,99% do Pangram 3 no mesmo conjunto de dados.

Robustez face aos modelos de fronteira

O Pangram 4 aplica-se de forma generalizada aos modelos de linguagem de ponta: todas as famílias de modelos são detetadas com um FNR inferior a 0,7%, e não constatamos qualquer correlação significativa entre a data de lançamento de um modelo e a sua detetabilidade.

Desempenho em documentos mistos e editados

Criamos um conjunto de dados com textos revistos e aperfeiçoados por IA para avaliar a nossa «Taxa de Falsos Positivos Assistidos por IA», ou seja, a taxa na qual um modelo assinala incorretamente edições menores feitas pela IA como sendo da IA. Utilizamos produtos de consumo (Grammarly, Apple Intelligence e Gemini no Google Docs) e modelos de linguagem de grande escala (LLMs) de ponta (Opus 4.8, Gemini 3.1 e GPT-5.5) para aplicar pequenas edições aos textos dos alunos provenientes do ELLIPSE, PELIC e ICNALE. Por exemplo, utilizámos a funcionalidade «Ferramentas de Escrita» integrada no editor de texto Pages da Apple para «revisar» alguns textos, ou solicitámos ao Opus 4.8 que «corrigisse pequenos problemas de estilo académico, mantendo o rascunho reconhecidamente humano».

Pangram 3 vs. Pangram 4 num excerto de um documento misto e heterogéneo. O Pangram 4 deteta IA com uma resolução muito mais detalhada.

O que se segue

É com grande entusiasmo que apresentamos este modelo, que consideramos ser atualmente o melhor do seu género a nível mundial. No entanto, temos também alguns objetivos.

Em primeiro lugar, esperamos abordar de forma preventiva a deriva dos dados antes que esta se torne um problema. Não se sabe, neste momento, durante quanto tempo um conjunto de treino anterior a 2022 continuará a ser suficiente para produzir os tipos de modelos preditivos robustos que as nossas normas exigem; por isso, encontrar métodos para ampliar o nosso conjunto de treino criado por humanos é uma prioridade máxima — mas, claro, sem comprometer a nossa garantia de um valor de referência humano para cada documento orgânico com o qual treinamos.

Em seguida, gostaríamos de garantir a estabilidade das previsões do Pangram 4 em diferentes contextos. Ocasionalmente, um subconjunto de um texto mais longo receberá previsões diferentes, dependendo de estar isolado ou inserido no documento circundante. É possível que esta situação reflita a forma como o contexto adicional fornece ao modelo mais informação ou um sinal mais forte, mas esperamos conseguir minimizar este efeito com uma melhor calibração.

Por fim, gostaríamos de dar continuidade ao nosso trabalho sobre interpretabilidade, com o objetivo de aprofundar a nossa compreensão da atribuição de características, do espaço de incorporação e da identificação do gerador. Este é um dos nossos projetos mais ambiciosos e estamos ansiosos por partilhar os nossos progressos nos próximos meses.

Ficha do modelo

Todos os detalhes constam na ficha técnica do modelo Pangram 4.