O Pangram é fiável?

A precisão é uma medida da eficácia do Pangram na classificação correta de textos como sendo gerados por IA, assistidos por IA ou da autoria de humanos. A precisão é definida por dois tipos diferentes de erros, cada um dos quais é medido separadamente:

1. Taxa de falsos negativos: A frequência com que o Pangram não identifica um documento escrito por IA ou com a ajuda de IA, classificando-o erroneamente como tendo sido escrito por um ser humano
2. Taxa de falsos positivos: com que frequência o Pangram classifica erroneamente um documento escrito por uma pessoa como tendo sido gerado por IA ou com a ajuda de IA

O Pangram é uma ferramenta que faz previsões estatísticas. Ajustamos deliberadamente o Pangram para que tenha maior tendência a produzir falsos negativos do que falsos positivos; tomámos esta decisão porque, embora um falso negativo ocasional possa ser incómodo, um falso positivo pode causar danos reais.

Se detetar um falso positivo ou um falso negativo, pode comunicá-lo através do nosso formulário de feedback. Os relatórios dos utilizadores são utilizados exclusivamente para revisão manual e diagnóstico — nunca utilizamos os dados dos utilizadores para treino ou comparação de desempenho.

Como é medida a precisão do Pangram?

Para avaliar a precisão do Pangram, este é testado em grandes conjuntos de dados de documentos, em que cada item tem um autor conhecido, seja ele humano, IA ou uma combinação dos dois. Para garantir que os testes comparativos produzam resultados fiáveis, nunca treinamos modelos nos nossos conjuntos de teste, nem realizamos testes comparativos em textos cuja verdade de referência seja incerta.

A precisão do Pangram é testada tanto internamente, por nós, como por investigadores independentes. Estamos sempre à procura de mais avaliadores independentes — se for um investigador interessado em testar o nosso sistema, oferecemos créditos! Entre em contacto connosco para saber mais sobre um crédito de API.

Conjuntos de referência

Testamos o Pangram com muitos tipos diferentes de dados, incluindo conteúdos escritos por humanos, gerados por IA, assistidos por IA e mistos (humanos e IA).

Os nossos dados de referência, redigidos por humanos, são compostos por textos com licença comercial e de autoria própria, abrangendo um vasto conjunto de géneros e domínios. Nunca utilizamos dados provenientes de textos enviados por utilizadores ou de conteúdos pirateados para fins de referência.

Queremos que os nossos conjuntos de referência gerados por IA reflitam a maior variedade possível de aplicações reais de escrita por IA. É por isso que o nosso principal conjunto de referência gerado por IA é alimentado por um conjunto de solicitações de escrita abertas que obtivemos do conjunto de dados LMSYS-Chat-1M, composto por conversas anónimas de modelos de linguagem de grande escala (LLM).

Também realizamos testes de desempenho com vários conjuntos de dados disponíveis publicamente, compilados por investigadores externos; para mais informações, consulte os testes de desempenho realizados por terceiros na ficha do modelo Pangram 4.

O desempenho do pangram em diferentes tipos de escrita

A taxa-alvo de falsos positivos do Pangram é de 0,01%, ou seja, 1 em cada 10 000. Nas nossas comparações internas, o Pangram 4 apresenta um desempenho ligeiramente superior, registando aproximadamente 41 falsos positivos por cada 1 000 000 de documentos, o que corresponde a uma taxa observada de falsos positivos de 0,0041%. A nossa taxa de falsos negativos, medida em cerca de 520 000 documentos gerados por IA, foi de 0,3396%.

Todos os nossos testes de desempenho utilizam uma definição rigorosa de falso positivo e falso negativo: qualquer segmento escrito por humanos que seja assinalado como gerado por IA ou assistido por IA — mesmo que seja uma pequena fração do texto total — é considerado um falso positivo. Da mesma forma, no caso de documentos gerados por IA, qualquer segmento, por mais pequeno que seja, assinalado como escrito por humanos ou assistido por IA é considerado um falso negativo para o documento na sua totalidade.

Para garantir a fiabilidade dos nossos testes de desempenho, avaliamos o desempenho do Pangram numa variedade de textos escritos por humanos e gerados por IA. Abaixo, encontrará informações sobre o desempenho do Pangram em diferentes domínios e géneros, modelos de IA e tipos de texto.

Área e género

O estilo, a técnica e a estrutura de escrita variam consoante os diferentes tipos de texto, tais como ensaios, ficção ou jornalismo, e a avaliação comparativa a um nível elevado pode ocultar as taxas de erro de domínios específicos. É por isso que dividimos as nossas avaliações comparativas em subconjuntos específicos de cada domínio e analisamos tanto as taxas de falsos positivos como as de falsos negativos nessas subdivisões.

Taxa de falsos positivos por domínio

Testamos uma variedade de excertos escritos por humanos para verificar se algum deles apresenta uma taxa desproporcional de falsos positivos. De um modo geral, o nosso desempenho nos nossos principais casos de utilização é bastante bom, incluindo textos criativos, académicos e científicos.

Nesta análise por domínio, as avaliações da Amazon, as notícias e os artigos com instruções incluem, todos, dados multilingues.

A poesia apresentou a taxa de falsos positivos mais elevada entre os domínios — os poemas são mais difíceis de classificar porque tendem a ser curtos e a ter uma formatação muito específica. Embora a taxa de falsos positivos continue a ser relativamente baixa, recomendamos uma análise mais aprofundada deste tipo de texto.

Taxa de falsos negativos por domínio

O Pangram 4 foi avaliado quanto à sua capacidade de detetar uma vasta gama de textos gerados por IA, incluindo textos académicos, como ensaios, trabalhos de investigação e artigos científicos, bem como textos criativos e ficção.

Foi também testado numa amostra aleatória de respostas geradas por IA a solicitações de utilizadores anonimizadas, provenientes de solicitações reais a modelos de linguagem de grande escala (LLM) do conjunto de dados LMSYS-Chat-1M. Estas solicitações incluíam redação científica e técnica, escrita criativa e redação empresarial.

Modelos de IA novos e diferentes

Nem todos os modelos de IA escrevem da mesma forma. Aquando do lançamento do Pangram 4, utilizámos o conjunto de dados LMSYS-Chat-1M para gerar 20 000 exemplos a partir de 26 modelos de linguagem mais comuns, num total de 520 000 amostras. Abaixo encontra-se a taxa de falsos negativos para 15 desses modelos; pode consultar a tabela completa na ficha do modelo Pangram 4.

Os modelos de IA também não são estáticos. Estão constantemente a ser lançados novos modelos de IA, e as empresas do setor estão a concentrar-se no estilo e na qualidade da escrita dos novos lançamentos; por isso, é razoável esperar que o estilo e a voz dos modelos continuem a evoluir. Para nos mantermos atualizados, realizamos um teste de desempenho mais reduzido em cada novo modelo à medida que este é lançado e publicamo-lo no nosso blogue entre os lançamentos dos nossos próprios modelos.

O Pangram continua a apresentar um bom desempenho, mesmo em modelos nunca antes vistos, porque os novos modelos herdam grande parte do seu estilo de escrita dos seus antecessores. Pode ler o nosso mais recente artigo sobre testes de desempenho de modelos, intitul ado «O Pangram consegue detetar o Claude Sonnet 5.5?», aqui, e saber como o Pangram consegue uma baixa taxa de falsos negativos em modelos nunca antes vistos aqui.

Autoria conjunta

O texto não é binário: nem todos os documentos são totalmente gerados por IA ou escritos inteiramente por um ser humano. Muitas vezes, a IA e a autoria humana estão interligadas através de edições iterativas, aperfeiçoamentos e outros processos de interação recíproca. Idealmente, o Pangram deveria ser capaz de distinguir entre um documento colaborativo e um que tenha sido gerado com supervisão humana mínima, e refletir essa diferença nos resultados da deteção.

A classificação atribuída dependerá do grau de utilização da IA na produção do documento. Por exemplo, intervenções ligeiras da IA, como a revisão ortográfica ou a edição de texto, devem normalmente manter a classificação de «totalmente humano», enquanto reescritas mais substanciais, como a sugestão de alterações de terminologia e formulação para maior clareza, devem, em geral, receber a classificação de «assistido por IA». Por outro lado, reescritas extensas realizadas pela IA podem ser classificadas como «geradas por IA».

A classificação deve também depender da forma como a IA e a escrita humana são combinadas. Por exemplo, a troca de mensagens com uma IA para reescrever um parágrafo seria classificada como «assistida», enquanto pedir a uma IA para desenvolver uma afirmação escrita por um ser humano num parágrafo mais longo, com evidências de apoio, receberia a classificação de «conteúdo misto, gerado por humanos e por IA», refletindo os autores distintos das diferentes secções.

Para abranger todas estas diferentes formas de utilizar a IA na escrita, avaliamos o Pangram em conjuntos de dados com diferentes níveis de envolvimento da IA.

O Pangram tem um bom desempenho com textos assistidos e editados por IA. Por uma questão de precaução, o Pangram opta por uma abordagem humana quando se depara com textos mistos.

Vários autores

Avaliámos o Pangram quanto à existência de preconceitos contra escritores de origens diversas. Num conjunto de dados composto por 25 996 ensaios escritos por alunos com diferentes tipos de deficiência, género, níveis escolares, etnias, estatuto de aprendizes da língua inglesa e contextos económicos, o Pangram não registou nenhum falso positivo. Consulte a análise completa dos resultados relativos aos ensaios de alunos de diversas origens.

Um estudo analisou o desempenho do Pangram 4 em 143 755 documentos, incluindo 85 887 documentos de autores autistas, e concluiu que o Pangram não apresentou qualquer viés apreciável. Entre 89 903 documentos anteriores a 2022, escritos tanto por autores neurodiversos como por autores do grupo de controlo, o Pangram 4 apresentou uma taxa de falsos positivos de 0,0011%. Pode ler o estudo independente completo sobre autores neurodiversos.

Para além do inglês, o Pangram suporta árabe, chinês, checo, neerlandês, francês, alemão, grego, hindi, húngaro, italiano, japonês, coreano, persa, polaco, português, romeno, russo, espanhol, sueco, turco, ucraniano, urdu e vietnamita.

Para consultar os resultados dos testes de desempenho por idioma, consulte a taxa de falsos positivos do Pangram por idioma suportado.

Limitações

Texto curto

O Pangram foi concebido para detetar texto gerado por IA em prosa de linguagem natural com 50 palavras ou mais, escrito principalmente em frases completas. O Pangram é mais fiável em trechos de texto mais longos, que fornecem ao detetor de IA mais informações para fazer previsões precisas.

Abaixo, pode ver uma análise detalhada do desempenho do Pangram em textos de diferentes comprimentos. Devido ao compromisso entre falsos positivos e falsos negativos, muitos dos erros observados em textos curtos serão falsos negativos.

Outras limitações

Existem alguns tipos de texto que, neste momento, consideramos fora do âmbito deste projeto e para os quais o Pangram pode produzir resultados menos fiáveis. Entre estes incluem-se:

• Código, marcação ou Markdown
• Traduções por IA e traduções automáticas, como o Google Translate
• Partes iniciais do documento, incluindo índices e páginas de rosto
• Partes finais do documento, como índices ou listas de referências
• Texto de figura, como rótulos de eixos ou dados tabulares
• Notação matemática
• Texto com muita formatação, como poesia ou receitas

Melhores práticas

• Para obter os melhores resultados, os cabeçalhos, rodapés, instruções e outros elementos irrelevantes escritos à mão devem ser removidos antes de digitalizar um documento.
• Recomenda-se a utilização de ficheiros de texto bruto e .docx em vez de PDFs, sempre que possível, uma vez que a análise de PDFs pode, por vezes, introduzir artefactos indesejados. Os resultados em formato PDF devem ser sempre verificados duas vezes.

Perguntas frequentes

Por que razão se medem separadamente a taxa de falsos positivos e a taxa de falsos negativos?

A precisão é medida executando o Pangram num conjunto de textos de exemplo e comparando o rótulo atribuído com o rótulo que sabemos que o documento possui. Assim, a taxa de falsos negativos e a taxa de falsos positivos são medidas de duas coisas diferentes:

• A taxa de falsos negativos quer saber: dado um documento gerado por IA, qual é a probabilidade de o Pangram classificá-lo como sendo de autoria humana?
• A taxa de falsos positivos levanta a seguinte questão: dado um documento redigido por um ser humano, qual é a probabilidade de o Pangram classificá-lo como sendo da IA?

Não existe uma taxa de falsos positivos num conjunto de documentos redigidos por IA, porque qualquer rótulo positivo (IA) que o Pangram atribua a um elemento desse conjunto não seria um falso positivo — por definição, seria um verdadeiro positivo. É por isso que as taxas de falsos positivos e de falsos negativos têm de ser medidas e comunicadas separadamente.

Por que é que o Pangram analisa textos curtos se a sua precisão é menor nesses casos?

A taxa de falsos positivos do Pangram em textos com 50 a 100 palavras é de 0,02%, ou seja, aproximadamente 1 em cada 5 000. Embora este valor seja suficientemente elevado — e os textos curtos na Internet sejam suficientemente numerosos — para que o utilizador médio possa deparar-se com um falso positivo num texto curto no decurso normal da utilização, continua a ser suficientemente baixo para que acreditemos que o Pangram possa fornecer informações úteis na maioria das vezes.

Recomendamos sempre que se digitalize o trecho mais longo do documento que estiver disponível. Quanto mais palavras houver, mais informações o Pangram terá para fazer uma previsão, razão pela qual observamos que a precisão melhora à medida que o número de palavras aumenta.