Os detetores de IA conseguem detectar o GPT-4.5?

Os detetores de IA conseguem detectar o GPT-4.5? | Pangram Labs

GPT-4.5 lançado

Hoje, a OpenAI lançou o GPT-4.5: o mais recente e maior modelo de linguagem disponível, e uma atualização significativa para o ChatGPT. Embora não tenha alcançado estatísticas de referência comparáveis a modelos de raciocínio como o DeepSeek R1 e o OpenAI O3, o GPT-4.5 representa o maior e mais esperado lançamento de modelo do ano até agora, e estamos entusiasmados para testá-lo. A OpenAI afirma que há grandes melhorias na qualidade da escrita, e as primeiras reações sobre o desempenho já estão por toda a parte nas redes sociais.

Os detetores de IA conseguem acompanhar o ritmo dos novos modelos?

Queríamos responder à pergunta que muitos se fazem: à medida que os modelos ficam melhores, ainda podemos detectar textos gerados por IA com o GPT-4.5? Fizemos um teste rápido hoje para descobrir.

Pangram vs. a concorrência

Começámos por recolher 11 exemplos de tarefas de escrita quotidianas que se poderiam pedir ao ChatGPT.

Aqui estão as instruções que usámos:

1. Escreva-me um ensaio de 300 palavras sobre os esforços de conservação dos coalas no Peru.
2. Escreva-me um e-mail explicando à minha equipa que vou acabar com os artigos de opinião liberais no meu jornal. Escreva-o em meu nome, Argylle J. Baggins, para a equipa do Washington Most.
3. Escreva-me um resumo de 400 palavras anunciando o primeiro semicondutor à temperatura ambiente do mundo (mas desta vez é para valer). Invente nomes e laboratórios quando precisar.
4. Escreva um ensaio convincente do ponto de vista de um aluno do ensino básico defendendo que os uniformes escolares não devem ser obrigatórios.
5. Escreva uma entrada complexa no diário de uma criança de 12 anos interessada em poesia e em algumas borboletas fora da sua janela.
6. Por favor, escreva uma avaliação detalhada sobre uma sala de fuga com o tema As Mil e Uma Noites em Baltimore, Maryland, cujo funcionário é um homem chamado Robert, com um design de produção realmente bom.
7. Escreva um e-mail convincente do diretor de um filme indie underground de sucesso da Rússia para os líderes do Oscar, implorando que eles permitam que eles concorram, apesar das sanções. Invente detalhes, se necessário.
8. Escreva uma ficção criativa para uma cena de um romance em que um grupo de jovens protagonistas luta para pousar uma aeronave marciana fortificada numa simulação da NASA que foi projetada para dar errado.
9. Escreva um roteiro para uma cena de filme em que um corretor financeiro falido de Nova Iorque implora remotamente a um motorista de Uber da Flórida para resgatar o seu dragão-de-komodo do seu condomínio barato e propenso a furacões.
10. Escreva um poema sobre um jovem casal que se separa na noite de Halloween, usando fantasias. Faça com que seja engraçado e tenha 200 palavras.
11. Escreva uma história de ficção criativa que acompanhe uma perseguição de motocicleta voadora por Veneza em busca de uma pintura de valor inestimável que balança precariamente.

Procuramos tornar as sugestões o mais diversificadas e variadas possível e, além disso, tentámos escrever sugestões que apresentassem uma diferença qualitativa significativa em relação aos modelos GPT anteriores: por outras palavras, se houvesse uma oportunidade para o modelo ser criativo e mostrar o fator «uau», fizemos o nosso melhor para dar essa oportunidade ao GPT-4.5.

Os resultados – Detetores de IA vs. GPT-4.5

Prompt	Pangrama	Principal concorrente 1	Principal concorrente 2
Conservação do coala	100%	100%	100%
E-mail do jornal	100%	100%	67%
Semiconductor à temperatura ambiente	100%	56%	86%
Uniformes escolares	85%	100%	80%
Diário de Poesia	100%	100%	15%
Crítica da Escape Room	100%	81%	56%
E-mail sobre cinema russo	100%	100%	91%
Cena da aterragem em Marte	100%	43%	7%
Guião do Dragão-de-Komodo	98%	88%	0%
Poema de separação no Halloween	100%	100%	0%
Cena de perseguição em Veneza	100%	49%	9%

O Pangram é capaz de detetar todas as 11 redações escritas pelo GPT-4.5, mesmo sem quaisquer dados do GPT-4.5 no conjunto de treino. Comparativamente, dois dos principais concorrentes em detecção de IA apresentam resultados irregulares, na melhor das hipóteses. Enquanto o Pangram é capaz de prever com confiança 10 das 11 amostras como tendo 98% ou mais de probabilidade de serem geradas por IA, os concorrentes frequentemente expressam altos níveis de incerteza ou, na pior das hipóteses, prevêem com alta confiança que o texto foi gerado por humanos.

Como é que o Pangram se generaliza tão bem para novos modelos?

O Pangram é, por si só, um grande modelo de aprendizagem automática que já analisou milhões de exemplos de textos gerados por humanos e por IA. Modelos grandes tendem a generalizar melhor e a captar padrões subtis em textos gerados por IA que outros não conseguem detectar. A nossa abordagem de aprendizagem ativa diminui ainda mais a nossa taxa de falsos positivos, ao mesmo tempo que aumenta a nossa sensibilidade, permitindo que o modelo funcione bem em escala e generalize para novos LLMs de forma muito mais eficaz do que os nossos concorrentes. Além disso, o nosso foco na qualidade e diversidade dos dados resulta, em última análise, num modelo que tem muito mais experiência na compreensão de detalhes mais refinados que outros modelos não conseguem captar.

Conclusão – Os detetores de IA ainda funcionam com o GPT-4.5?

Sim, a nossa ferramenta de deteção de IA continua a ser altamente eficaz na deteção de texto gerado pelo GPT-4.5.

Portanto, se está a pensar em como o Pangram se sairá quando um modelo novo, maior e melhor for lançado, ele passa no teste com o lançamento de IA mais esperado que vimos nos últimos tempos, sem qualquer necessidade de retreinamento. Se não quer que o seu software de deteção de IA pare de funcionar repentinamente na próxima vez que a OpenAI atualizar o seu modelo, experimente o Pangram hoje mesmo.

Para obter mais informações sobre a nossa pesquisa ou créditos gratuitos para testar o nosso modelo no GPT-4.5, entre em contacto connosco pelo e-mail info@pangram.com.