O Pangram reconhece o Llama 4 da Meta?

Introdução

Hoje foi lançado o Llama 4, o mais recente de uma série de modelos de código aberto da Meta AI. Queríamos saber se o Pangram ainda é capaz de detetar os melhores e mais recentes modelos de código aberto e, por isso, realizámos um teste rápido para verificar se o nosso modelo demonstra capacidade de generalização em relação ao Llama 4, apesar de, atualmente, ter sido treinado apenas com resultados do Llama 2 e do Llama 3.

Será que os detectores de IA conseguem acompanhar o ritmo dos novos modelos?

Costumam perguntar-nos se conseguimos acompanhar o ritmo dos novos modelos, e é por isso que os testamos rapidamente logo no primeiro dia, antes de termos oportunidade de retreinar o modelo.

Pôr o Pangram à prova

Para a verificação pontual, utilizámos os mesmos 11 prompts que utilizámos para testar o GPT 4.5. Estes prompts abrangem uma variedade de tarefas de escrita do quotidiano, mas não estão diretamente relacionados com os prompts com os quais treinámos o modelo. Exigem também um nível de criatividade tal que acreditamos que um modelo que tenha registado progressos substanciais em relação às gerações anteriores de LLMs apresentaria um comportamento qualitativamente diferente.

Eis as instruções que utilizámos:

1. Escreve-me um texto de 300 palavras sobre as iniciativas de conservação dos coalas no Peru
2. Escreva-me um e-mail a explicar à minha equipa que vou deixar de publicar artigos de opinião de tendência liberal no meu jornal. Escreva-o em meu nome, Argylle J. Baggins, dirigido à equipa do Washington Most
3. Escreve-me um resumo de 400 palavras a anunciar o primeiro semicondutor do mundo a funcionar à temperatura ambiente (mas desta vez a sério). Invente nomes e laboratórios quando for preciso
4. Escreva um texto convincente, na perspetiva de um aluno do ensino básico, defendendo que os uniformes escolares não devem ser obrigatórios
5. Escreve uma entrada complexa no diário de uma menina de 12 anos interessada em poesia e nas borboletas que voam à sua janela
6. Por favor, escreva uma crítica detalhada sobre uma sala de fuga com o tema «As Mil e Uma Noites» em Baltimore, Maryland, gerida por um homem chamado Robert, que apresenta um cenário com um design de produção realmente excelente
7. Escreva um e-mail convincente do realizador de um filme independente russo de sucesso, dirigido aos responsáveis dos Óscares, implorando-lhes que lhes permitam concorrer, apesar das sanções. Se for preciso, invente alguns detalhes
8. Escreva um texto de ficção criativa para uma cena de um romance em que um grupo de protagonistas jovens adultos se esforça por aterrar uma nave marciana blindada numa simulação da NASA concebida para correr mal
9. Escreve um guião para uma cena de cinema em que um jovem executivo financeiro de Nova Iorque, sem um tostão, implora remotamente a um motorista da Uber da Flórida para resgatar o seu dragão-de-komodo do seu apartamento barato e vulnerável a furacões
10. Escreve um poema sobre um jovem casal que se separa, vestido com máscaras, na noite de Halloween. Faz com que seja engraçado e tenha 200 palavras
11. Escreva um texto de ficção criativa que narre uma perseguição de motas voadoras por Veneza, em busca de um quadro de valor inestimável que balança precariamente

Os resultados

Neste caso, o Pangram passa no teste com nota máxima! Não só consegue identificar todas as 11 amostras de texto como sendo geradas por IA, como o faz com 100% de confiança. (Apesar de o modelo prever 100%, arredondamos sempre para 99,9% na interface do utilizador, para indicar que nunca podemos ter 100% de certeza.)

Pode ver os resultados completos aqui.

Avaliação de uma amostra de maior dimensão utilizando a API Together

Criámos um conjunto de teste mais vasto, com cerca de 7 000 exemplos, utilizando os nossos esquemas padrão de prompts de avaliação e recorrendo à API Together para a inferência, abrangendo uma ampla variedade de domínios, incluindo redação académica, escrita criativa, perguntas e respostas, redação científica e muito mais.

Aqui estão os nossos resultados no conjunto de testes mais extenso.

Conclusão

Por que é que o Pangram se adapta tão bem a novos modelos? Acreditamos que se deve à qualidade dos nossos conjuntos de dados subjacentes e à nossa abordagem de aprendizagem ativa, bem como às nossas amplas estratégias de prompts e amostragem, que permitiram ao Pangram conhecer tantos tipos de textos gerados por IA que consegue adaptar-se muito bem a novos modelos.

Para mais informações sobre a nossa investigação ou para obter créditos gratuitos para experimentar o nosso modelo no Llama 4, contacte-nos através do endereço info@pangram.com.