Os detectores de IA funcionam contra o GPT-5?

Os detectores de IA funcionam contra o GPT-5?

Estamos de volta com mais um post da nossa série de testes à detecção de IA do Pangram no próprio dia do lançamento!

Resumo: O Pangram é o único detector de IA capaz de identificar o GPT-5 com fiabilidade, sem ter sido explicitamente treinado para o efeito.

Nos episódios anteriores desta série, analisámos a capacidade do Pangram para detetar:

• Modelos de raciocínio, como o o3 da OpenAI, o Gemini 2.5 Pro e o Claude 4 da Anthropic
• Llama 4 da Meta
• GPT 4.5
• Estilos de escrita de Claude
• GPT-4o, Llama 3 e Claude 3

Até à data, ainda não vimos o Pangram falhar em nenhum modelo de linguagem. Estávamos ansiosos pelo lançamento do modelo mais badalado dos últimos tempos, com o GPT-5 finalmente anunciado hoje pela OpenAI.

Esta tarde, analisámos alguns dos nossos testes iniciais do detetor de IA da Pangram Labs no GPT-5, bem como alguns dos produtos da concorrência. Ficámos bastante satisfeitos com os resultados: ainda não encontrámos nenhum caso em que o detetor de IA da Pangram falhasse perante os nossos prompts mais criativos no GPT-5, e consideramos que os resultados da concorrência são, na melhor das hipóteses, irregulares.

A testar o GPT-5

A nossa primeira experiência com o GPT-5 começou com uma piada interna do escritório: tentar convencer alguém de que comer camarão é melhor do que comer lagosta. Pedimos ao GPT-5 para escrever um discurso apaixonado sobre as razões pelas quais comer camarão é superior a comer lagosta. Aqui está o resultado:

"O camarão ganha. Eis o meu argumento. O camarão sabe a mar sem ser demasiado forte. A lagosta pode ser pesada e ter um sabor um pouco turvo se não estiver perfeita. Basta um minuto a mais no fogão e a lagosta fica fibrosa. O camarão oferece uma margem de manobra maior. Grelhado, salteado, cozido, frito, seja como for. Mantém-se crocante e com um sabor limpo. A textura é importante. O camarão estala. Essa textura é o que importa. A lagosta é densa e rica de uma forma que se torna cansativa rapidamente. Duas dentadas de lagosta com manteiga são ótimas. Doze dentadas parecem um desafio. Consigo devorar um prato inteiro de camarão com alho e ainda querer outro escondido debaixo da salsa. O camarão combina bem com tudo. Alho, malagueta, lima, manteiga, gengibre, manjericão, caril, Old Bay, miso, gochujang. Faz com que todos brilhem. A lagosta exige o protagonismo e, depois, pede principalmente manteiga. Se a melhor versão de algo precisa de uma poça de manteiga derretida para se sentir especial, talvez esse algo não esteja a dar o seu melhor. O sabor por minuto é real. O camarão cozinha em cerca de três minutos. Isso significa frigideira quente, sal, selar, pronto, boom de sabor. Com a lagosta, estás a lutar com as cascas, a cozinhar a vapor, a cronometrar, a partir, a perseguir carne minúscula em cantos estranhos. Mais trabalho do que recompensa. O camarão é pouco drama, grande retorno. A acessibilidade altera o sabor. A comida sabe melhor quando não custa uma fortuna. O camarão pode ser o jantar de um dia de semana. A lagosta grita «ostentação de aniversário». O camarão traz alegria sem cerimónias. Esse fator de descontração torna-o, honestamente, mais delicioso na vida real. A versatilidade importa. O camarão vai de tacos a scampi, de po’boys a bolinhos, de paella a tudo o mais, sem suar uma gota. É bom frio, quente, picante, cítrico, rico ou leve. A lagosta tenta dar saltos e geralmente acaba de volta num pãozinho com maionese. Um pãozinho ótimo. Mas ainda assim, monótono. A absorção do molho é de elite. O camarão absorve manteiga de alho, óleo de malagueta e limão de uma forma que a lagosta não consegue. A lagosta fica ali como uma participação especial de uma celebridade. O camarão aprende as falas e rouba a cena. As sobras também ganham. Camarão frio com molho cocktail no dia seguinte é perfeito. As sobras de lagosta parecem trabalhos de casa. A lagosta reaquecida fica com textura de borracha. O camarão reaquecido, se tiveres a sorte de sobrar algum, continua a saber a festa. E depois há o ambiente. O camarão adapta-se a um churrasco no quintal, a uma frigideira num jantar de semana ou a um prato sofisticado. A lagosta faz com que a mesa fique em silêncio, como se todos tivessem medo de estragar tudo. Quero comida que faça as pessoas conversarem, rasgarem pão, molharem, passarem pratos. O camarão faz isso. Olha, a lagosta é boa. É vistosa. Tem uma história bonita. Mas se estamos a falar de sabor puro, daquele que me apetece repetir amanhã, o camarão leva a melhor. Sabor mais limpo. Melhor textura. Mais variedade. Menos complicações. Mais diversão. Passa-me uma frigideira quente, um pouco de alho, um limão e meio quilo de camarão. É esse o jantar que realmente me apetece."

O Pangram consegue prever, com um grau de confiança extremamente elevado, que todo o documento foi gerado por IA.

Resultados da deteção por IA do Pangram no texto «camarão vs. lagosta»

Testámos vários outros detectores de IA neste texto. O GPTZero, o ZeroGPT, o Grammarly, o UndetectableAI e o Originality.AI prevêem, todos, que este texto foi escrito por um ser humano, apesar de ter vindo diretamente do GPT-5, sem quaisquer alterações. Acreditamos que isto demonstra a solidez da nossa abordagem de investigação e as nossas capacidades de generalização, apoiadas por um modelo poderoso com um conjunto de dados de altíssima qualidade!

Resultados de outros detectores de IA no texto sobre camarão vs. lagosta

No entanto, este é apenas um exemplo que se poderia argumentar ter sido escolhido a dedo. Terão de acreditar na minha palavra de que este texto foi, literalmente, a primeira coisa que experimentámos. Assim, continuámos com os nossos testes.

A testar a «capacidade de escrita melhorada» do GPT-5

Uma das afirmações feitas na transmissão ao vivo de hoje foi que o GPT-5 apresenta melhorias na escrita em comparação com os seus antecessores. Embora possamos apenas fazer uma avaliação subjetiva disso, fizemos o nosso melhor hoje para criar prompts que demonstrassem a capacidade de escrita criativa aprimorada do GPT-5, fornecendo-lhe prompts que obrigassem o modelo a expandir tanto as suas capacidades de raciocínio como a sua criatividade.

Os prompts que testámos:

1. Escreva um ensaio analítico persuasivo sobre as razões pelas quais as escolas devem adotar ferramentas de deteção de IA.

2. Escreva uma redação para a candidatura à universidade sobre o risco de todas as competências humanas valiosas serem substituídas pela IA.

3. Escreva uma carta apaixonada, curta, mas cheia de emoção, dirigida a uma empresa de IA que, acidentalmente, lançou uma atualização que apagou a memória da sua namorada virtual.

4. Do ponto de vista de um aluno do ensino básico, escreve um texto comovente a pedir mais trabalhos de casa.

5. Dá-me um padrão de croché para um animal clássico feito com balões. Sabes bem de qual estou a falar.

6. Escreva um relato criativo na perspetiva de uma coruja-das-neves que chega a Nova Iorque, encontra o Central Park e escolhe um local quentinho para passar a noite

7. Escreva um e-mail do fundador de uma startup SaaS «unicórnio» dirigido ao conselho de administração e aos seus funcionários, explicando que vai deixar a empresa para se tornar saxofonista profissional. Invente os detalhes.

8. Escreve-me um post no blogue com a história por trás de uma receita que nunca ninguém tenha feito antes, mas que, mesmo assim, fosse deliciosa.

9. Escreva um texto de ficção criativa com um toque cinematográfico sobre um jovem cantor e compositor que se depara com uma baleia beluga no rio Hudson.

10. Escreve um e-mail humorístico e passivo-agressivo a um professor a «pedir desculpa» por teres copiado no último exame. Invente os detalhes que quiseres.

Comparámos os resultados com o Pangram e com o GPTZero, um concorrente bem conhecido. Publicámos online as instruções, as respostas e os resultados.

Os resultados revelaram um contraste gritante entre os dois detectores de IA: o Pangram identificou corretamente todas as 10 respostas como geradas por IA, com uma confiança de 99 a 100%, enquanto o GPTZero as classificou incorretamente como escritas por humanos. Na verdade, o GPTZero classificou a maioria das respostas como tendo 0% de probabilidade de serem geradas por IA, sendo que a sua pontuação mais elevada de probabilidade de IA foi de apenas 29%.

Executar um teste de desempenho mais abrangente

Hoje tivemos tempo para realizar um último teste, que consiste em verificar a capacidade do Pangram para detetar todas as variantes do GPT-5, incluindo o GPT-5-mini, o GPT-5-nano e o GPT-5-chat na API. Também testámos os mais recentes modelos de peso aberto lançados pela OpenAI há alguns dias, o GPT-OSS-120b e o GPT-OSS-20b. Realizámos esta experiência em maior escala, testando aproximadamente alguns milhares de exemplos por LLM, utilizando as nossas técnicas padrão de prompt, exigindo um comprimento mínimo de 50 palavras. Os tamanhos das amostras variam um pouco porque, por vezes, os modelos rejeitam os nossos prompts e, outras vezes, emitem respostas com menos de 50 palavras, que descartamos.

É claro que a precisão apenas em relação a textos gerados por IA é uma métrica que não pode ser analisada isoladamente — temos também de considerar a taxa de falsos positivos, que é o outro lado da moeda: com que frequência é que o Pangram identifica textos criados por humanos como sendo de IA? Escrevemos extensivamente sobre este assunto noutro artigo, mas, em resumo, o Pangram continua a apresentar uma taxa de falsos positivos extremamente baixa. A nossa taxa de falsos positivos medida é de 1 em 10 000 em todos os domínios, sendo frequentemente mais baixa na prática. Calibramos e ajustamos o limiar de forma a que a nossa taxa de falsos positivos seja aproximadamente 1/10 da nossa taxa de falsos negativos, tratando os falsos positivos com muito mais seriedade do que os falsos negativos. Posto isto, no entanto, não acreditamos que se trate de um «compromisso» inerente — acreditamos que podemos treinar modelos com taxas baixas tanto de falsos positivos como de falsos negativos, e é por isso que realizamos testes de desempenho em ambos os lados!

Eis o que descobrimos.

O Pangram deteta o GPT-5?

De acordo com os testes iniciais que realizámos hoje, o GPT-5 não representa qualquer ameaça para as capacidades de deteção do Pangram, o que é muito importante, uma vez que em breve se tornará o modelo predefinido no ChatGPT para todos os utilizadores, mesmo aqueles que utilizam a versão gratuita. Embora outros detetores de IA possam vir a identificar o GPT-5, o Pangram é o único que funciona de forma imediata e fiável neste momento.

Experimente o detetor de IA da Pangram para verificar se um texto foi gerado pelo GPT-5 ou por outros modelos de linguagem de grande escala.