Ir diretamente para o conteúdo principal

Como o Pangram deteta conteúdos gerados por IA

Uma análise de como o Pangram é treinado para detetar texto gerado por IA com uma taxa de falsos positivos quase nula.

01

Visão geral

O Pangram Text foi concebido para detetar conteúdos gerados por IA com uma taxa de falsos positivos praticamente nula. A nossa abordagem de treino rigorosa minimiza os erros e permite que o modelo detete textos gerados por IA através da análise e compreensão de indícios subtis na escrita.

Como o Pangram é treinado: os exemplos humanos classificados incorretamente são extraídos e comparados com texto gerado por um LLM antes de o modelo ser retreinado.
Fig. 1. Visão geral de como o Pangram é treinado para distinguir texto escrito por humanos de texto gerado por IA.
02

Processo de formação inicial

O nosso classificador utiliza uma arquitetura tradicional de modelo de linguagem. Recebe o texto de entrada e divide-o em tokens. Em seguida, o modelo transforma cada token numa representação vetorial, que é um vetor de números que representa o significado de cada token.

A entrada é processada pela rede neural, produzindo uma representação de saída. Um classificador transforma essa representação de saída em previsões ao nível do token, que são descodificadas num de três rótulos para cada segmento: Humano, Assistido por IA ou Gerado por IA.

Cada token é convertido num vetor de incorporação e representado no espaço 3D.
Fig. 2. Cada token é transformado numa representação — um vetor de números que representa o seu significado — que o modelo representa num espaço de alta dimensão (aqui apresentado em 3D).

Treinamos um modelo inicial com um conjunto de dados pequeno, mas diversificado, de aproximadamente 1 milhão de documentos, composto por textos públicos e licenciados escritos por humanos. O conjunto de dados inclui também textos gerados por IA, produzidos pelo GPT-4 e por outros modelos linguísticos de ponta. O resultado do treino é uma rede neural capaz de prever com fiabilidade se um texto foi escrito por um humano ou por IA.

O texto é tokenizado e enviado através da rede para um classificador e para as representações, e o softmax produz uma previsão.
Fig. 3. O modelo inicial é treinado com cerca de um milhão de documentos, tanto humanos como gerados por IA.
03

Melhoria contínua através da iteração

Mineração de Negativos Rígidos

O modelo inicial já era bastante eficaz, mas queríamos maximizar a precisão e reduzir qualquer possibilidade de falsos positivos (ou seja, a previsão incorreta de que documentos escritos por humanos fossem gerados por IA). Para tal, desenvolvemos um algoritmo especificamente destinado a modelos de deteção de IA.

Com o conjunto de dados inicial, o nosso modelo não dispunha de sinal suficiente para passar de uma precisão de 99% para 99,999%. Embora o modelo aprenda rapidamente os padrões iniciais dos dados, é necessário que ele encontre casos extremos para distinguir com precisão entre texto humano e texto gerado por IA.

Resolvemos esta questão utilizando o modelo para procurar falsos positivos em grandes conjuntos de dados e ampliando o conjunto de treino inicial com estes exemplos difíceis adicionais antes de proceder a um novo treino. Após vários ciclos deste processo, o modelo resultante apresenta uma taxa de falsos positivos quase nula, bem como um desempenho globalmente melhorado nos conjuntos de avaliação reservados.

O modelo analisa grandes conjuntos de dados à procura de exemplos difíceis, que são adicionados ao conjunto de treino antes do novo treino.
Fig. 4. O modelo analisa grandes conjuntos de dados à procura de exemplos difíceis, que são adicionados ao conjunto de treino antes do retreino.

Sugestões do Mirror

Concebemos a parte do conjunto de dados gerada pela IA de forma a assemelhar-se estreitamente à parte humana em termos de estilo, tom e conteúdo semântico. Para cada exemplo humano, geramos um exemplo criado pela IA que corresponda ao documento original no maior número possível de aspetos, para garantir que o nosso modelo aprenda a classificar documentos baseando-se exclusivamente nas características específicas da escrita dos LLM.

Para cada documento escrito por humanos, geramos um documento de IA espelhado, que corresponde em estilo, tom e conteúdo.
Fig. 5. Para cada documento escrito por humanos, geramos um documento de IA «espelhado», que corresponde ao original em termos de estilo, tom e conteúdo.

Reciclar

Treinamos o modelo com o conjunto de treino atualizado e avaliamos o desempenho do modelo em cada etapa. Com este método, conseguimos reduzir os erros e aumentar a precisão do nosso modelo para além do que é possível com o treino normal.

Cada ciclo de retreinamento é avaliado, reduzindo progressivamente os erros para além do que o treino normal consegue alcançar.
Fig. 6. Cada ciclo de retreinamento é avaliado, reduzindo progressivamente os erros para além do que o treino normal consegue alcançar.
04

Saiba mais

Consulte o nosso documento técnico completo, onde abordamos em pormenor os detalhes do treino, o desempenho e outras experiências.

PDFRelatório técnico Pangram 4pangram.comArtigo técnico do blogue sobre o Pangram 4

Para além do texto, o Pangram também consegue detetar imagens geradas por IA.