Como o Pangram deteta conteúdos gerados por IA
Uma análise de como o Pangram é treinado para detetar texto gerado por IA com uma taxa de falsos positivos quase nula.
Visão geral
O Pangram Text foi concebido para detetar conteúdos gerados por IA com uma taxa de falsos positivos praticamente nula. A nossa abordagem de treino rigorosa minimiza os erros e permite que o modelo detete textos gerados por IA através da análise e compreensão de indícios subtis na escrita.
Processo de formação inicial
O nosso classificador utiliza uma arquitetura tradicional de modelo de linguagem. Recebe o texto de entrada e divide-o em tokens. Em seguida, o modelo transforma cada token numa representação vetorial, que é um vetor de números que representa o significado de cada token.
A entrada é processada pela rede neural, produzindo uma representação de saída. Um classificador transforma essa representação de saída em previsões ao nível do token, que são descodificadas num de três rótulos para cada segmento: Humano, Assistido por IA ou Gerado por IA.
Treinamos um modelo inicial com um conjunto de dados pequeno, mas diversificado, de aproximadamente 1 milhão de documentos, composto por textos públicos e licenciados escritos por humanos. O conjunto de dados inclui também textos gerados por IA, produzidos pelo GPT-4 e por outros modelos linguísticos de ponta. O resultado do treino é uma rede neural capaz de prever com fiabilidade se um texto foi escrito por um humano ou por IA.
Melhoria contínua através da iteração
Mineração de Negativos Rígidos
O modelo inicial já era bastante eficaz, mas queríamos maximizar a precisão e reduzir qualquer possibilidade de falsos positivos (ou seja, a previsão incorreta de que documentos escritos por humanos fossem gerados por IA). Para tal, desenvolvemos um algoritmo especificamente destinado a modelos de deteção de IA.
Com o conjunto de dados inicial, o nosso modelo não dispunha de sinal suficiente para passar de uma precisão de 99% para 99,999%. Embora o modelo aprenda rapidamente os padrões iniciais dos dados, é necessário que ele encontre casos extremos para distinguir com precisão entre texto humano e texto gerado por IA.
Resolvemos esta questão utilizando o modelo para procurar falsos positivos em grandes conjuntos de dados e ampliando o conjunto de treino inicial com estes exemplos difíceis adicionais antes de proceder a um novo treino. Após vários ciclos deste processo, o modelo resultante apresenta uma taxa de falsos positivos quase nula, bem como um desempenho globalmente melhorado nos conjuntos de avaliação reservados.
Sugestões do Mirror
Concebemos a parte do conjunto de dados gerada pela IA de forma a assemelhar-se estreitamente à parte humana em termos de estilo, tom e conteúdo semântico. Para cada exemplo humano, geramos um exemplo criado pela IA que corresponda ao documento original no maior número possível de aspetos, para garantir que o nosso modelo aprenda a classificar documentos baseando-se exclusivamente nas características específicas da escrita dos LLM.
Reciclar
Treinamos o modelo com o conjunto de treino atualizado e avaliamos o desempenho do modelo em cada etapa. Com este método, conseguimos reduzir os erros e aumentar a precisão do nosso modelo para além do que é possível com o treino normal.
Saiba mais
Consulte o nosso documento técnico completo, onde abordamos em pormenor os detalhes do treino, o desempenho e outras experiências.
PDFRelatório técnico Pangram 4pangram.comArtigo técnico do blogue sobre o Pangram 4Para além do texto, o Pangram também consegue detetar imagens geradas por IA.