Os detectores de IA conseguem identificar o GPT-4.5?

Os detectores de IA conseguem identificar o GPT-4.5? | Pangram Labs

Lançamento do GPT-4.5

Hoje, a OpenAI lançou o GPT-4.5: o mais recente e o maior modelo de linguagem de ponta disponível, e uma atualização significativa do ChatGPT. Embora não atinja estatísticas de referência comparáveis às de modelos de raciocínio como o DeepSeek R1 e o OpenAI O3, o GPT-4.5 representa o maior e mais aguardado lançamento de modelo do ano até agora, e estamos ansiosos por testá-lo. A OpenAI afirma que há grandes melhorias na qualidade da escrita, e já se encontram opiniões entusiásticas sobre o desempenho por toda a parte nas redes sociais.

Será que os detectores de IA conseguem acompanhar o ritmo dos novos modelos?

Queríamos responder à pergunta que muitos se fazem: à medida que os modelos melhoram, será que ainda conseguimos detetar texto gerado por IA com o GPT-4.5? Fizemos hoje um teste rápido para descobrir.

Pangram vs. a concorrência

Começámos por analisar 11 prompts que refletem tarefas de escrita do dia-a-dia que se poderiam solicitar ao ChatGPT.

Eis as instruções que utilizámos:

1. Escreve-me um texto de 300 palavras sobre as iniciativas de conservação dos coalas no Peru
2. Escreva-me um e-mail a explicar à minha equipa que vou deixar de publicar artigos de opinião de tendência liberal no meu jornal. Escreva-o em meu nome, Argylle J. Baggins, dirigido à equipa do Washington Most
3. Escreve-me um resumo de 400 palavras a anunciar o primeiro semicondutor do mundo a funcionar à temperatura ambiente (mas desta vez a sério). Invente nomes e laboratórios quando for preciso
4. Escreva um texto convincente, na perspetiva de um aluno do ensino básico, defendendo que os uniformes escolares não devem ser obrigatórios
5. Escreve uma entrada complexa no diário de uma menina de 12 anos interessada em poesia e nas borboletas que voam à sua janela
6. Por favor, escreva uma crítica detalhada sobre uma sala de fuga com o tema «As Mil e Uma Noites» em Baltimore, Maryland, gerida por um homem chamado Robert, que apresenta um cenário com um design de produção realmente excelente
7. Escreva um e-mail convincente do realizador de um filme independente russo de sucesso, dirigido aos responsáveis dos Óscares, implorando-lhes que lhes permitam concorrer, apesar das sanções. Se for preciso, invente alguns detalhes
8. Escreva um texto de ficção criativa para uma cena de um romance em que um grupo de protagonistas jovens adultos se esforça por aterrar uma nave marciana blindada numa simulação da NASA concebida para correr mal
9. Escreve um guião para uma cena de cinema em que um jovem executivo financeiro de Nova Iorque, sem um tostão, implora remotamente a um motorista da Uber da Flórida para resgatar o seu dragão-de-komodo do seu apartamento barato e vulnerável a furacões
10. Escreve um poema sobre um jovem casal que se separa, vestido com máscaras, na noite de Halloween. Faz com que seja engraçado e tenha 200 palavras
11. Escreva um texto de ficção criativa que narre uma perseguição de motas voadoras por Veneza, em busca de um quadro de valor inestimável que balança precariamente

Procurámos tornar os prompts o mais diversificados e variados possível e, além disso, tentámos criar prompts que demonstrassem uma diferença qualitativa significativa em relação aos modelos GPT anteriores: por outras palavras, sempre que havia uma oportunidade para o modelo ser criativo e mostrar o seu lado mais impressionante, fizemos o nosso melhor para proporcionar essa oportunidade ao GPT-4.5.

Os resultados – Detetores de IA vs. GPT-4.5

O Pangram consegue detetar todas as 11 redações escritas pelo GPT-4.5, mesmo sem quaisquer dados do GPT-4.5 no conjunto de treino. Em comparação, dois dos principais concorrentes na deteção de IA apresentam, na melhor das hipóteses, resultados irregulares. Enquanto o Pangram consegue prever com segurança que 10 das 11 amostras têm uma probabilidade de IA de 98% ou superior, a concorrência apresenta frequentemente um elevado grau de incerteza ou, na pior das hipóteses, prevê com elevada confiança que o texto foi gerado por humanos.

Como é que o Pangram se adapta tão bem a novos modelos?

O Pangram é, por si só, um grande modelo de aprendizagem automática que analisou milhões de exemplos de texto, tanto de autoria humana como gerado por IA. Os modelos de grande dimensão tendem a generalizar melhor e a identificar padrões subtis no texto gerado por IA que outros não conseguem detetar. A nossa abordagem de aprendizagem ativa reduz ainda mais a nossa taxa de falsos positivos, ao mesmo tempo que aumenta a nossa sensibilidade, permitindo que o modelo funcione bem em grande escala e generalize para novos LLMs de forma muito mais eficaz do que os nossos concorrentes. Além disso, o nosso foco na qualidade e diversidade dos dados resulta, em última análise, num modelo com muito mais experiência na compreensão de detalhes mais subtis que outros modelos não conseguem captar.

Conclusão – Os detectores de IA ainda funcionam com o GPT-4.5?

Sim, a nossa ferramenta de deteção por IA continua a ser altamente eficaz na deteção de texto gerado pelo GPT-4.5.

Portanto, se está a pensar como é que o Pangram se sairá quando for lançado um modelo novo, maior e melhor, saiba que o Pangram passa no teste com o lançamento de IA mais esperado que vimos nos últimos tempos, sem qualquer necessidade de retreinamento. Se não quer que o seu software de deteção de IA deixe de funcionar de repente na próxima vez que a OpenAI atualizar o seu modelo, experimente o Pangram ainda hoje.

Para mais informações sobre a nossa investigação ou para obter créditos gratuitos para experimentar o nosso modelo no GPT-4.5, contacte-nos através do endereço info@pangram.com.