Tudo sobre os falsos positivos nos detetores de IA

Um dos aspetos mais importantes do nosso trabalho na Pangram é minimizar a nossa taxa de falsos positivos. Isto significa reduzir, tanto quanto possível, a probabilidade de textos escritos por humanos serem identificados como gerados por IA. Hoje, vamos explicar as taxas de falsos positivos da Pangram em muitos tipos diferentes de texto, como medimos e avaliamos os nossos modelos para garantir que a taxa de falsos positivos seja a mais baixa possível e, por fim, algumas das técnicas que empregamos para criar software de deteção por IA com a menor taxa de falsos positivos do setor.

Pontos principais

• Um falso positivo ocorre quando um detetor identifica erroneamente um trabalho humano como tendo sido gerado por IA. Este tipo de erro é mais grave no contexto da deteção de IA, pois alegar que o trabalho de alguém não é da sua autoria pode prejudicar a sua reputação ou o seu prestígio académico
• A Pangram leva a sério tanto os falsos positivos como os falsos negativos e apresenta uma taxa de falsos positivos de 1 em 10 000, líder no setor
• Por domínio, o Pangram apresenta uma taxa de falsos positivos extremamente baixa em todos os casos de utilização mais comuns, como a escrita criativa (0,01 %), a escrita académica (0,02 %), a escrita biomédica (0,01 %) e os guiões de cinema (0 %)
• O Pangram apresenta um desempenho menos ideal em alguns casos de utilização mais específicos, como poesia ou receitas

O que é um falso positivo?

No contexto da deteção de IA, um falso positivo ocorre quando um detetor classifica erroneamente uma amostra criada por humanos como tendo sido gerada por IA. Em contrapartida, um falso negativo ocorre quando uma amostra gerada por IA é erroneamente classificada como tendo sido criada por humanos.

Falsos positivos e falsos negativos na deteção por IA

O diagrama acima ilustra os dois tipos de erros. Se o vermelho representar a classe negativa e o verde representar a classe positiva, um X vermelho previsto como verde seria um falso positivo, e um O verde previsto como vermelho seria um falso negativo.

Em estatística, utilizam-se os termos «erro do tipo I» e «erro do tipo II »: estes termos significam exatamente a mesma coisa. Um erro do tipo I é um falso positivo, e um erro do tipo II é um falso negativo. Os estatísticos e, em particular, aqueles que trabalham nas ciências médicas, também utilizam os termos sensibilidade e especificidade para distinguir estas duas taxas de erro. Os cientistas da aprendizagem automática utilizam os termos precisão e recall. Embora existam algumas ligeiras diferenças técnicas entre estes termos, para fins educativos, neste artigo limitar-nos-emos simplesmente a «falsos positivos» e «falsos negativos», pois considero que estes são os termos mais autoexplicativos para estes dois tipos de erros.

Na deteção por IA, um falso positivo é muito pior do que um falso negativo. Acusar repetidamente de plágio por IA alunos que escrevem os trabalhos por conta própria, sem qualquer ajuda da IA, compromete gravemente a confiança entre aluno e professor e pode causar muita ansiedade e stress ao aluno. Por outro lado, um falso negativo pode significar que, de vez em quando, um aluno que faz batota consiga escapar, o que não é um resultado tão negativo para uma ferramenta de deteção por IA.

Vale a pena referir que, noutros problemas de deteção, o falso negativo pode causar muito mais danos do que o falso positivo: por exemplo, num teste de rastreio do cancro, é muito melhor que o teste indique erroneamente que o doente tem cancro do que não detetar de todo o cancro real do doente. Se o teste indicar erroneamente que o paciente tem cancro, embora possa ser inconveniente para o paciente ter de voltar para acompanhamentos, exames e análises adicionais, isso é muito melhor do que não diagnosticar um cancro, o que constitui uma ameaça à vida do paciente.

Voltando à deteção de IA, um falso positivo causa mais prejuízo do que um falso negativo, mas ambos são importantes: ignorar sistematicamente textos gerados por IA e prever erroneamente que são de autoria humana também compromete o valor da ferramenta. Por isso, na Pangram, a nossa abordagem geral consiste em minimizar tanto os falsos negativos como os falsos positivos tanto quanto possível, mas dando maior prioridade aos falsos positivos.

Qual é a taxa de falsos positivos do Pangram?

A resposta é: depende!

Em geral, calculamos que a nossa taxa de falsos positivos seja de aproximadamente 1 em 10 000: por vezes um pouco mais elevada, outras vezes um pouco mais baixa, dependendo do tipo de texto e de outras variáveis.

Medimos a taxa de falsos positivos do Pangram numa ampla variedade de textos: chamamos a isso «domínios». Embora não seja uma lista exaustiva, apresentamos abaixo as nossas taxas de falsos positivos mais atualizadas, que medimos internamente em cada domínio:

Que fatores determinam a suscetibilidade do Pangram a falsos positivos?

Em geral, o Pangram funciona melhor quando as seguintes condições são cumpridas:

• O texto é bastante extenso (tem mais de duzentas palavras)
• O texto está escrito em frases completas
• Este domínio está bem representado nos conjuntos de dados de treino online mais comuns
• O texto contém mais elementos criativos e é menos estereotipado

Acreditamos que estes fatores explicam por que razão o Pangram tem um desempenho superior em ensaios, escrita criativa e críticas. Embora os artigos de notícias, os artigos científicos e as entradas da Wikipédia sejam mais padronizados e técnicos, a disponibilidade de dados é abundante nestes domínios, pelo que o Pangram se tornou muito eficaz a reconhecer até mesmo padrões subtis na escrita. Por fim, domínios como receitas e poesia são os mais fracos, porque o texto tende a ser curto, não está escrito em frases completas (dando ao LLM menos oportunidades de introduzir o seu estilo idiossincrático no texto) e, geralmente, são mais raros online do que os outros domínios.

Na prática, o que é que isto significa? Embora o Pangram continue a ser relativamente fiável em todos os domínios, pode confiar mais na precisão do Pangram quando o texto é extenso, está composto por frases completas e exige uma maior contribuição original por parte do autor. Por este motivo, desaconselhamos a análise de elementos como listas curtas com marcadores e esboços, matemática, respostas muito curtas (por exemplo, frases únicas) e textos extremamente formulaicos, tais como longas listas de dados, folhas de cálculo, textos baseados em modelos e manuais de instruções.

Como se compara a taxa de falsos positivos da Pangram com a dos concorrentes?

Não podemos realizar o mesmo teste de desempenho exaustivo aos nossos concorrentes, simplesmente porque o custo de o fazer seria extremamente proibitivo. No entanto, podemos analisar qual é a taxa de falsos positivos que os nossos concorrentes indicam.

Turnitin

A taxa de falsos positivos indicada pela Turnitin no seu site

O mais recente relatório técnico da Turnitin indica uma taxa de falsos positivos de 0,51% em textos académicos, ou seja, aproximadamente 1 em cada 200, ao nível do documento. Isso significa que 1 em cada 200 trabalhos apresentados pelos alunos será erroneamente sinalizado como tendo sido produzido por IA.

A nossa taxa de falsos positivos, calculada com base num conjunto de dados semelhante de ensaios académicos, é de 0,004%, o que corresponde a 1 em cada 25 000.

Esta é uma diferença significativa. Numa grande universidade de investigação, podem ser submetidos 100 000 artigos por ano. Esta é a diferença entre 500 alertas falsos no Turnitin e apenas 4 no Pangram.

GPTZero

A taxa de falsos positivos indicada pelo GPTZero no seu site

O GPTZero afirma ter uma taxa de falsos positivos de 1%, o que é duas vezes pior do que o Turnitin e 250 vezes pior do que o Pangram.

Para uma comparação justa, realizámos uma avaliação comparativa interna entre o GPTZero e o Pangram, utilizando um conjunto mais reduzido de documentos do nosso conjunto VIP geral. Constatámos que a taxa de falsos positivos era superior à relatada, situando-se nos 2,01 %.

Copyleaks

Taxa de falsos positivos indicada pela Copyleaks no seu site

A Copyleaks afirma ter uma taxa de falsos positivos de 0,2%, ou seja, 1 em cada 500, o que, se for verdade, seria 50 vezes pior do que o Pangram.

Além disso, um número isolado como este não revela toda a história. Não sabemos de onde provêm os dados, nem que potenciais enviesamentos poderão ter existido na avaliação. É por isso que realizamos uma análise comparativa exaustiva e estamos a publicar este artigo, no qual detalhamos o nosso processo de avaliação do modelo.

Teste de desempenho RAID

Analisando o estudo sobre RAID publicado no ano passado por Liam Dugan e coautores — o estudo n.º 2 do artigo de síntese de investigação que publicámos —, gostaríamos de chamar a atenção para o gráfico seguinte.

Taxas de falsos positivos do estudo RAID entre os detetores

A maioria dos detectores apresenta um «limiar», que corresponde à percentagem de confiança acima da qual o modelo considera que o texto foi gerado por IA e, abaixo da qual, considera que o texto foi escrito por um ser humano. Ao ajustar o limiar, é possível equilibrar os falsos positivos e os falsos negativos.

Neste gráfico, o eixo x representa a taxa de falsos positivos resultante da alteração do limiar, e o eixo y representa o recall: ou seja, a fração de documentos de IA que podem ser classificados como IA quando avaliados com esse limiar.

Resumindo, os detetores dos nossos concorrentes deixam de funcionar quando são obrigados a manter uma taxa de falsos positivos inferior a 1%; ou seja, não seriam capazes de detetar qualquer IA quando o limiar fosse suficientemente baixo para produzir uma taxa de falsos positivos de 1%.

Como avaliamos a taxa de falsos positivos do Pangram?

O Pangram passa por um processo extremamente rigoroso de aprovação e testes antes de qualquer novo modelo poder ser implementado no nosso painel de controlo e na nossa API.

No âmbito do nosso controlo de qualidade, dispomos de três tipos de testes para falsos positivos, cada um dos quais estabelece um equilíbrio entre a avaliação quantitativa e a qualitativa. As nossas avaliações incluem:

1. Conjuntos de validação em grande escala. Aproximadamente 10 000 a 10 000 000 de exemplos por conjunto. Trata-se de bases de dados em grande escala e de acesso livre na Internet, anteriores ao ChatGPT (2022), das quais selecionámos um conjunto de validação que não foi utilizado no treino e que foi reservado exclusivamente para fins de avaliação.

2. Conjuntos VIP de média dimensão. Aproximadamente 1 000 exemplos por conjunto. Trata-se de conjuntos de dados que foram recolhidos manualmente por engenheiros ou etiquetadores a partir de fontes fiáveis, inspecionados visualmente e validados pessoalmente como tendo sido redigidos por seres humanos. Embora os especialistas com formação sejam capazes de detetar visualmente conteúdos gerados por IA, ocasionalmente cometem erros; por isso, auditamos regularmente os dados e limpamo-los para garantir a sua precisão.

3. Conjuntos de teste. Aproximadamente 10 a 100 exemplos por conjunto. Trata-se de falsos positivos já identificados, casos complexos que os nossos amigos nos enviaram e, em geral, exemplos interessantes nos quais queremos avaliar o nosso desempenho. Também recolhemos exemplos de texto fora do comum, tais como receitas, poesia, guiões de filmes e outras formas escritas que não estão bem representadas em conjuntos de treino de modelos de linguagem de grande dimensão, e consideramos estes também como conjuntos de desafios, bem como uma referência geral para avaliar o desempenho do nosso modelo quando colocado «fora da distribuição».

Para além destes três tipos de controlo de qualidade, também dispomos de testes unitários. Esses testes unitários servem, em termos coloquiais, para testar o nosso modelo quanto ao que designamos por «falhas embaraçosas». O nosso conjunto atual de testes unitários exige que prevejam respostas humanas para documentos como a Declaração de Independência, passagens famosas da literatura e os textos do nosso próprio site e publicações no blogue. Se algum destes testes unitários falhar, bloqueamos a implementação de um novo modelo e voltamos à estaca zero. Uma das nossas filosofias orientadoras para a avaliação é sermos extremamente vigilantes no acompanhamento e monitorização destas «falhas embaraçosas», para que nunca voltem a ocorrer quando um novo modelo for lançado.

Diagrama que mostra os três tipos de conjuntos de avaliação utilizados no Pangram: conjuntos de validação em grande escala (mais de 10 milhões de exemplos), conjuntos VIP de média escala (mais de 1000 exemplos) e conjuntos de desafio (10 a 100 exemplos)

Quem tem inclinação para a matemática e a ciência poderá perguntar: por que é necessária uma avaliação qualitativa? Não será sempre melhor ter mais amostras?

A minha resposta a isto seria: mais amostras nem sempre é melhor. Como disse certa vez um sábio profeta, há mentiras, mentiras descaradas e estatísticas. Mas, falando a sério, acreditamos que, quando se cria um grande conjunto de dados em grande escala, acaba-se sempre por introduzir algum tipo de enviesamento. E quando se tem um conjunto de dados tão grande que não é possível inspecionar todos os exemplos, não se sabe se o modelo se ajustou excessivamente a um viés no conjunto de dados, o que fará com que tenha um bom desempenho no teste, mas um desempenho fraco no mundo real. (A título de nota, acreditamos que é por isso que existem muitos detetores de IA online que afirmam ter «99% de precisão», mas que não chegam nem perto disso quando realmente os testamos).

Um exemplo engraçado que ilustra a importância destas diversas variantes de conjuntos de testes ocorreu nos primórdios do Pangram, quando introduzimos pela primeira vez a Wikipédia no conjunto de treino. Uma das nossas primeiras tentativas mal sucedidas acabou por ter um excelente desempenho no conjunto de validação, mas um desempenho muito fraco no conjunto VIP, que consistia em artigos da Wikipédia recolhidos manualmente. O que acabámos por descobrir foi que, no conjunto de dados Huggingface que estávamos a utilizar, no que diz respeito ao lado humano, a pronúncia dos nomes expressa no Alfabeto Fonético Internacional estava a ser reformatada de uma forma realmente estranha, à qual o modelo estava a sofrer de sobreajuste: limitava-se a olhar para a formatação do nome e, em seguida, concluía com base na formatação se o documento era de IA ou humano. Ótimo no conjunto de teste, mas péssimo no mundo real, quando o modelo não tinha essa pista específica! É por isso que é importante ter um conjunto de teste que reflita com precisão o tipo de texto que o Pangram vai encontrar no mundo real.

Antes de enviarmos um modelo aos clientes da Pangram, submetemo-lo a um rigoroso processo de aprovação que envolve uma avaliação tanto quantitativa como qualitativa, no qual submetemos o modelo a testes de resistência e analisamos minuciosamente o seu desempenho em comparação com o modelo atual.

1. Avaliação quantitativa: significa que as métricas da taxa de falsos positivos em todos os conjuntos de validação, conjuntos VIP e casos de teste não devem ser submetidas a regressão.

2. Avaliação qualitativa: na maioria dos casos, alguns exemplos apresentarão melhorias, enquanto outros regredirão. Sempre que possível, analisamos visualmente os exemplos específicos que regrediram e certificamo-nos de que as falhas são explicáveis. Trata-se frequentemente de um processo matizado e específico das hipóteses concretas que estamos a testar, mas, em geral, queremos garantir que os casos de falha não apresentam um padrão específico que possa generalizar-se a falhas no mundo real após a implementação.

3. Verificação prática / red teaming: Por fim, assim que a avaliação quantitativa e qualitativa estiver concluída, procedemos simplesmente a uma «verificação prática» do modelo, enviando-o à equipa e pedindo-lhes que o experimentem durante algum tempo. No caso de algumas atualizações, podemos também pedir a testadores internos ou a clientes beta que testem o modelo antes de o lançarmos publicamente (normalmente, encorajamo-los a tentar encontrar casos que levem o modelo a falhar!).

4. Testes A/B retroativos: realizamos inferências offline sobre as nossas previsões antigas e analisamos as diferenças entre o modelo antigo e o novo. Nem sempre dispomos dos dados reais para os dados que já tínhamos inferido, mas, mais uma vez, procuramos padrões consistentes que possam revelar casos de falha no mundo real.

Em resumo, embora sejamos extremamente meticulosos e científicos na avaliação do desempenho do nosso modelo através de métricas e estatísticas, não nos baseamos apenas nos números para obter uma visão completa da situação. Também confiamos nos nossos olhos, na nossa intuição e na nossa capacidade de reconhecimento de padrões para analisar minuciosamente o modelo e identificar padrões de erro que as nossas métricas possam ter deixado escapar. Contamos igualmente com a nossa equipa de testadores, especialistas em simulação de ataques e clientes beta para identificar falhas que a equipa possa ter deixado escapar.

Quais são as técnicas que utilizamos para alcançar uma taxa de falsos positivos tão baixa?

Manter uma baixa taxa de falsos positivos é fundamental para a nossa missão de investigação. Aqui estão algumas das técnicas que temos utilizado até agora para alcançar a melhor taxa de erro da sua classe.

Cobertura abrangente dos dados de treino

Embora os detectores de IA da concorrência possam ter sido «concebidos para o meio académico, escolas, salas de aula e educadores», o que isso realmente pode significar é que o seu conjunto de dados de treino contém apenas textos académicos.

Por outro lado, criámos o Pangram para tirar partido da «lição amarga»: que os algoritmos de aprendizagem gerais, treinados com grandes volumes de dados provenientes de uma ampla variedade de fontes, são mais eficazes do que modelos específicos treinados com dados de domínios específicos.

Isso significa que treinamos o nosso detetor de IA com uma grande variedade de textos: criativos, técnicos, científicos, enciclopédicos, críticas, sites, publicações de blogues... e a lista continua. A razão para isso é semelhante a uma formação em ciências humanas abrangente: a exposição a muitas disciplinas e estilos de escrita ajuda o modelo a compreender e a generalizar melhor quando se depara com novos casos. Seguindo a tendência mais ampla no treino de IA, o ChatGPT e outros grandes modelos de linguagem não são treinados com dados específicos para casos de utilização particulares, mas sim com dados de texto gerais em grande escala, para que possam ter inteligência geral: acreditamos na mesma estratégia para treinar detetores de IA que sejam robustos perante todos os diferentes tipos gerais de texto que um LLM possa produzir.

Mineria de dados com dados de teste / Aprendizagem ativa

Já escrevemos bastante sobre o nosso algoritmo de aprendizagem ativa, que tira partido de uma técnica denominada «mineração de negativos difíceis», e acreditamos que esta seja a principal razão pela qual conseguimos reduzir a nossa taxa de falsos positivos para um valor próximo de zero.

Essencialmente, isto funciona porque a maioria dos exemplos reais são «exemplos fáceis» — assim que o modelo aprende os padrões básicos do que é humano e do que é IA, é muito fácil distinguir um do outro na grande maioria do conjunto de dados. No entanto, isso só permite atingir cerca de 99% de precisão. Para conquistar os últimos dois pontos de precisão, temos de encontrar os casos mais difíceis para treinar o modelo: podemos pensar nestes casos como aqueles em que um humano decide escrever de forma muito semelhante a um modelo de linguagem de IA, mas, na verdade, está apenas a escrever assim por coincidência. Para encontrar estes «negativos difíceis», realizamos uma pesquisa em grande escala em conjuntos de dados da Internet, como os utilizados para treinar LLMs, e, em seguida, realizamos um espelhamento sintético para gerar exemplos de IA com sons semelhantes. Mais detalhes podem ser encontrados na nossa página «Como funciona».

Ponderação de perdas e sobreamostragem

Formulamos o nosso objetivo de otimização de forma a que o modelo dê prioridade aos falsos positivos em detrimento dos falsos negativos durante o próprio processo de treino. Quando o modelo comete um erro ao classificar um documento humano, é «penalizado» com um fator muito mais pesado do que se cometesse um erro ao classificar um documento gerado por IA. Isto obriga o modelo a ser conservador e a apenas prever que um documento é gerado por IA se tiver a certeza absoluta.

Calibração

Isto diz respeito à seleção do limiar, tal como descrito no RAID. Selecionamos o nosso limiar com base na análise de milhões de documentos nos nossos conjuntos de avaliação, de modo a equilibrar adequadamente as taxas de falsos positivos e falsos negativos. Com a nossa seleção de limiar, procuramos encontrar um equilíbrio entre manter a taxa de falsos negativos a um nível razoável, sem comprometer as nossas taxas de falsos positivos.

Conclusões

• O Pangram apresenta uma taxa de falsos positivos significativamente mais baixa do que a dos concorrentes.
• A taxa de falsos positivos extremamente baixa do Pangram deve-se a uma combinação de escala, treino e pesquisa.
• Dado que a taxa de falsos positivos é tão importante na deteção por IA, criámos um conjunto de testes e controlo de qualidade extremamente abrangente e desenvolvemos um processo de aprovação minucioso que combina uma avaliação estatística cuidadosa com um julgamento humano mais intuitivo e qualitativo, bem como verificações de intuição.

Adoramos trabalhar com investigadores para melhorar a precisão geral do nosso software e somos entusiastas da avaliação comparativa aberta e da transparência na deteção por IA. Para saber mais sobre como trabalhar connosco, colaborar connosco ou esclarecer dúvidas sobre a precisão do Pangram, contacte-nos através do endereço info@pangram.com.