O que significa a sua pontuação de deteção de IA?

Submete a redação de um aluno ou o artigo de um freelancer a um detector de IA. Um número grande e em negrito aparece no ecrã: 65 % de IA. O que faz a seguir?

Os resultados da deteção por IA não são como uma tabela de avaliação tradicional, em que «aprovado» e «reprovado» são conceitos óbvios. A distinção entre «totalmente gerado por IA» e «editado por IA» está em constante evolução, tal como os nossos sistemas de deteção na Pangram.

Este guia explica de forma simples o que são as percentagens. Abordamos como um verificador de pontuação de IA calcula as percentagens, o que significam os intervalos de confiança e como determinar o limiar adequado do detector de IA para tomar medidas.

O que é que essa percentagem realmente indica?

Se digitalizar um documento com uma ferramenta de deteção de IA, obterá uma pontuação percentual de IA. «50%», por exemplo. Assim, de acordo com o verificador de percentagem de IA, 50% deste documento contém texto gerado por IA ou com assistência de IA.

Exemplo de uma pontuação de deteção de IA

As ferramentas avançadas de deteção por IA não tratam um documento como um único bloco gigante de texto. Em vez disso, estas ferramentas dividem o texto em segmentos, frases e parágrafos. Estes fragmentos individuais são avaliados como segmentos.

Se obtiver uma pontuação de 30% num trabalho de 10 páginas, isso significa provavelmente que cerca de três páginas de texto apresentam os padrões típicos de um LLM.

Como interpretar o espectro de pontuação de IA

Se estiver a utilizar um detetor de IA e um determinado documento obtiver uma pontuação baixa (por exemplo, 30 % gerado por IA), isso indica normalmente que se trata de um documento híbrido. Um documento híbrido é normalmente escrito por um ser humano e depois editado com a ajuda de uma ferramenta de IA, ou então é-lhe adicionado texto gerado por IA.

Mistura de conteúdo gerado por IA e escrito por humanos

Uma pontuação de deteção assistida por IA surge frequentemente quando um autor:

• Utiliza ferramentas como o Grammarly.
• Pede a um modelo de linguagem de grande escala (LLM), como o ChatGPT, para «suavizar» os parágrafos que escreveu.
• Utiliza IA para traduzir a sua língua materna para inglês.

Uma elevada percentagem de deteção de IA ocorre frequentemente quando o «ADN linguístico» de um texto é, na sua grande maioria, gerado por IA. Isso significa, normalmente, que o autor desse texto introduziu uma solicitação num modelo de linguagem de grande escala (LLM) e copiou e colou o resultado direto desse modelo, com algumas edições.

Os verificadores de pontuação baseados em IA são precisos?

Não podemos validar os resultados de outras ferramentas, mas os verificadores de IA de nível empresarial, como o Pangram, são altamente precisos (99,98 %). Para o ajudar a avaliar a sua precisão, a maioria dos verificadores de IA de nível empresarial apresenta um indicador de «Confiança» que mostra o grau de certeza do modelo quanto à sua própria percentagem de deteção.

A resposta à pergunta «Os verificadores de IA são precisos?» assenta em dois factos: são utilizados modelos estatísticos para determinar se um texto foi gerado por IA e esses modelos funcionam com base em probabilidades, e não em certezas absolutas.

Se estiver a utilizar um verificador de IA que faz uma avaliação maniqueísta do conteúdo escrito, uma ferramenta como o Pangram pode ajudá-lo a identificar as secções específicas que indicam que o texto foi escrito por IA.

O resultado «misto»

Uma realidade nos fluxos de trabalho modernos é o conteúdo «misto», que combina a redação e a edição humanas com as da IA. É por isso que ferramentas como o Pangram 3.0 (e versões superiores) classificam o texto num espectro: Totalmente Humano, Ligeiramente Assistido por IA, Moderadamente Assistido por IA e Totalmente Gerado por IA.

Resultados mistos da pontuação de IA

Classificar o texto gerado por IA num espectro é importante porque um texto com uma pontuação de 10% na categoria «Ligeiramente assistido por IA» pode ser tratado de forma diferente nas políticas escolares ou editoriais do que um ensaio com 95% na categoria «Totalmente gerado por IA». O destaque do segmento mostra exatamente quais as partes que foram criadas com IA.

Que limiares de pontuação de IA justificam a tomada de medidas?

Não existe um «número mágico» universal que exija medidas corretivas, mas, como boa prática, pontuações de deteção por IA inferiores a 20 % indicam frequentemente o uso de ferramentas padrão de assistência à escrita digital. Pontuações superiores a 60 % justificam, muitas vezes, uma conversa direta sobre a autenticidade do texto de alguém.

Deve definir um limiar para o detetor de IA que reflita as suas políticas relativas à IA. Por exemplo, se a sua política permitir «o uso da IA para o brainstorming de ideias, mas não para a redação do texto em si», então uma pontuação de 40 % poderá exigir uma investigação. Ou, se a sua política estipular que «a IA não deve ser utilizada em nenhuma fase do processo de redação», mesmo uma pontuação de 15 % provavelmente exigirá uma investigação.

A pontuação de deteção por IA que recebe é uma ferramenta de diagnóstico. Se for registada uma pontuação elevada, pode utilizar os segmentos destacados pelo Pangram e o relatório«Frases de IA»para se reunir com o autor e pedir-lhe que explique o seu processo de redação. Isto pode levar a esclarecimentos, orientações e ao resultado que ambos procuram.

A deteção por IA não é uma avaliação binária do tipo «aprovado/reprovado»

O Pangram é uma ferramenta analítica sofisticada que oferece uma visão clara dos processos que definem a escrita atual. Ao compreenderem exatamente o que significa uma pontuação de IA, os profissionais podem defender com confiança os padrões de integridade, ao mesmo tempo que tratam os escritores com justiça.

Deixe de tentar adivinhar o que os números significam. Obtenha informações detalhadas e claras sobre a autoria de textos com a análise de segmentos da Pangram.

Digitalize o seu documento