O que significa a sua pontuação de deteção de IA?

Submete a redação de um aluno ou o artigo de um freelancer a um detector de IA. Um número grande e em negrito aparece no ecrã: 65% de IA. O que faz a seguir?

Os resultados da deteção por IA não são como uma tabela de classificação tradicional, em que «aprovado» e «reprovado» são evidentes. A distinção entre «totalmente gerado por IA» e «editado por IA» está a evoluir, tal como os nossos sistemas de deteção na Pangram.

Este guia explica de forma simples o que significam as percentagens. Abordamos como um verificador de pontuação de IA calcula as percentagens, o que significam os intervalos de confiança e como determinar o limiar adequado do detetor de IA para tomar medidas.

O que é que essa percentagem realmente indica?

Se digitalizar um documento com uma ferramenta de deteção de IA, obterá uma pontuação percentual de IA. «50%», por exemplo. Esta percentagem não significa que 50% do documento seja falso ou gerado por IA. Significa que, de acordo com o verificador de percentagem de IA, 50% deste documento contém texto gerado por IA ou assistido por IA.

Exemplo de uma pontuação de deteção de IA

As ferramentas avançadas de deteção por IA não tratam um documento como um único bloco gigante de texto. Em vez disso, estas ferramentas dividem o texto em segmentos, frases e parágrafos. Estes fragmentos individuais são avaliados como segmentos.

Se obtiver uma pontuação de 30% num trabalho de 10 páginas, isso significa provavelmente que cerca de três páginas de texto apresentam os padrões típicos de um LLM. Esses padrões incluem, entre outros, a ausência de variação no ritmo e uma sintaxe previsível. A pontuação não significa que 30% do documento tenha sido gerado por IA.

Como interpretar o espectro de pontuação de IA

Se estiver a utilizar um detetor de IA e um determinado documento obtiver uma pontuação baixa (por exemplo, 30 % gerado por IA), isso indica normalmente que se trata de um documento híbrido. Um documento híbrido é geralmente escrito por um ser humano e, posteriormente, editado com a ajuda de uma ferramenta de IA. Por outro lado, uma pontuação elevada, como 85 %, sugere fortemente que o texto foi inteiramente gerado por IA.

Mistura de conteúdo gerado por IA e escrito por humanos

A pontuação de detecção de IA baixa a média ocorre frequentemente quando um autor:

• Utiliza ferramentas como o Grammarly.
• Pede a um modelo de linguagem de grande escala (LLM), como o ChatGPT, para «suavizar» os parágrafos que escreveu.
• Utiliza IA para traduzir a sua língua materna para inglês.

Uma elevada percentagem de deteção de IA ocorre frequentemente quando o «ADN linguístico» de um texto é, na sua grande maioria, gerado por IA. Isso significa, normalmente, que o autor desse texto introduziu uma solicitação num modelo de linguagem de grande escala (LLM) e copiou e colou o resultado direto desse modelo, com algumas edições.

Os verificadores de pontuação baseados em IA são precisos?

Não podemos validar os resultados de outras ferramentas, mas os verificadores de IA de nível empresarial, como o Pangram, são altamente precisos (99,98 %). Para o ajudar a avaliar a sua precisão, a maioria dos verificadores de IA de nível empresarial fornece um «Intervalo de Confiança» que indica o grau de certeza do modelo quanto à sua própria percentagem de deteção.

A resposta à pergunta «Os verificadores de IA são precisos?» assenta em dois factos: são utilizados modelos estatísticos para determinar se um texto foi gerado por IA e esses modelos funcionam com base em probabilidades, e não em certezas absolutas.

Uma indicação de «Alta Confiança» significa que o texto corresponde a padrões conhecidos dos dados de treino do LLM. E, uma vez que o texto corresponde a esses padrões, a percentagem de deteção de IA é razoável. Isto não significa que a percentagem de deteção de IA seja absolutamente precisa, mas sim que é provavelmente precisa.

Uma indicação de «Baixa confiança» significa que o texto apresenta algumas características de IA, mas que o modelo não dispõe de dados suficientes para chegar a uma conclusão definitiva. Muitas indicações de «Baixa confiança» devem-se a excertos de texto demasiado curtos para permitir uma avaliação precisa.

Se estiver a utilizar um verificador de IA que faz uma avaliação maniqueísta do conteúdo escrito, uma ferramenta como o Pangram pode ajudá-lo a identificar as secções específicas que indicam que o texto foi escrito por IA.

O resultado «misto»

A realidade mais comum nos fluxos de trabalho modernos é o conteúdo «misto», que combina a redação e a edição humanas com as da IA. É por isso que ferramentas como o Pangram 3.0 classificam o texto num espectro: Totalmente humano, Ligeiramente assistido por IA, Moderadamente assistido por IA e Totalmente gerado por IA.

Resultados mistos da pontuação de IA

É importante classificar o texto gerado por IA num espectro, pois um aluno que obtenha uma pontuação de 10% num texto «ligeiramente assistido por IA», apenas por ter utilizado um corretor ortográfico, não deve ser tratado da mesma forma que um aluno que entregou uma redação «totalmente gerada por IA» com 95%. A marcação destaca exatamente quais as partes que foram criadas com IA.

Que limiares de pontuação de IA justificam a tomada de medidas?

Não existe um «número mágico» universal que exija medidas corretivas, mas, como boa prática, pontuações de deteção por IA inferiores a 20 % indicam frequentemente o uso de ferramentas padrão de assistência à escrita digital. Pontuações superiores a 60 % justificam, muitas vezes, uma conversa direta sobre a autenticidade do texto de alguém.

Deve definir um limiar para o detetor de IA que reflita as suas políticas relativas à IA. Por exemplo, se a sua política permitir «o uso da IA para o brainstorming de ideias, mas não para a redação do texto propriamente dito», então uma pontuação de 40 % justifica uma investigação. Ou, se a sua política estipular que «a IA não deve ser utilizada em nenhuma fase do processo de redação», mesmo uma pontuação de 15 % provavelmente justificará uma investigação.

A pontuação de deteção por IA que recebe é uma ferramenta de diagnóstico. Se for registada uma pontuação elevada, pode utilizar os segmentos destacados pelo Pangram e o relatório«Frases de IA»para se reunir com o autor e pedir-lhe que explique o seu processo de redação. Isto pode levar a esclarecimentos, orientações e ao resultado que ambos procuram.

A deteção por IA não é um sistema binário de «aprovado/reprovado»

O Pangram é uma ferramenta analítica sofisticada que oferece uma visão clara dos processos que definem a escrita atual. Ao compreenderem exatamente o que significa uma pontuação de IA, os profissionais podem defender com confiança os padrões de integridade, ao mesmo tempo que tratam os escritores com justiça.

Deixe de tentar adivinhar o que os números significam. Obtenha informações detalhadas e claras sobre a autoria dos textos com a análise de segmentos da Pangram.

Digitalize o seu documento