Apresentamos a Identificação por IA: o Pangram consegue distinguir os diferentes LLMs uns dos outros

O Pangram é o software líder na deteção de textos gerados por IA, como os escritos pelo ChatGPT, Claude, Gemini e outros, e na distinção entre textos escritos por IA e textos escritos por humanos.

Estamos agora a dar mais um passo em frente e a lançar um modelo avançado que não só consegue detetar conteúdos gerados por IA, como também identificar de que LLM provém um determinado texto gerado por IA. Chamamos à nossa nova tecnologia «Identificação de IA».

Identificação por IA

Intuitivamente, as pessoas estão a começar a perceber que os diferentes LLMs têm estilos de escrita distintos. Por exemplo, o ChatGPT é conhecido por ser bastante direto e objetivo, o Claude é conhecido por ser mais fluente e coloquial, o Grok é conhecido por ser sem censura e provocador, e o Deepseek-R1 está a começar a ficar conhecido por ser divagante e prolixo.

Graham Neubig ironiza as diferentes tendências estilísticas dos LLMs

Ethan Mollick reflete sobre a personalidade agradável de Claude Sonnet.

Um estudo recente de Lisa Dunlap e colaboradores da UC Berkeley analisou as diferenças qualitativas (ou, informalmente, as «vibrações») de diferentes LLMs. Descobriram muitos aspetos interessantes, tais como «o Llama é mais bem-humorado, utiliza mais formatação, fornece mais exemplos e comenta muito menos sobre ética do que o GPT e o Claude». A implicação é que o desempenho do modelo nem sempre está alinhado com as preferências humanas: embora o GPT-4 e o Claude-3.5 sejam modelos mais avançados do que a série Llama, o Llama parece sempre superar as expectativas na Chatbot Arena, um ranking de LLMs baseado no sistema Elo e alimentado por crowdsourcing, que se baseia nas preferências em relação às respostas aos mesmos prompts. Será que os modelos que têm um bom desempenho na Chatbot Arena são mais inteligentes e mais capazes, ou estarão apenas a tentar manipular a psicologia humana de uma forma que os torna mais «simpáticos»? E, uma vez que alguns modelos são mais úteis e simpáticos do que outros, será mesmo importante que possam ser menos capazes de resolver problemas de raciocínio ao nível de doutoramento? Estas são questões que vale a pena estudar e que são importantes para compreender a utilidade de sistemas como a Chatbot Arena em relação às avaliações tradicionais de modelos.

Na Pangram, questionámo-nos se seria possível que o nosso modelo utilizasse essas características para identificar e distinguir estes LLMs uns dos outros.

Sistema de Identificação por IA da Pangram

Tal como treinamos o nosso modelo básico de deteção de IA para distinguir textos gerados por IA de textos humanos, também treinamos esse mesmo modelo de deteção para identificar IA, utilizando uma técnica denominada «aprendizagem multitarefa». Na prática, classificamos os vários modelos linguísticos em 9 famílias, que determinámos através de uma extensa série de experiências.

As famílias são as seguintes:

1. GPT-3.5
2. GPT-4 (inclui GPT-4o, GPT-4-turbo e GPT-4o-mini)
3. Modelos de raciocínio da OpenAI
4. Claude
5. Google (inclui ambas as variantes do Gemini e o Gemma)
6. Grok
7. DeepSeek
8. Amazon Nova
9. Outros (inclui LLaMA, Mistral, Qwen e outros derivados de código aberto destes modelos)

Na prática, conseguimos isso adicionando mais uma «camada» à nossa rede neural. Ao supervisionar a tarefa de deteção da IA, supervisionamos também a tarefa de identificação da IA, passando o rótulo do modelo para a rede e realizando a retropropagação do erro tanto na identificação da IA como na previsão de deteção.

Fonte da imagem: GeeksForGeeks

Quase todas as camadas do modelo são partilhadas entre as duas tarefas, sendo que apenas a camada de previsão final é separada.

Na aprendizagem multitarefa, verificamos que algumas tarefas se complementam quando aprendidas em conjunto, enquanto outras se prejudicam mutuamente. Na biologia, um conceito semelhante é a ideia de simbiose versus parasitismo. Por exemplo, um peixe-palhaço que vive numa anémona-do-mar é um exemplo de simbiose: o peixe-palhaço alimenta-se de predadores que podem prejudicar a anémona, enquanto o peixe-palhaço fica protegido dos seus próprios predadores ao camuflar-se e esconder-se dentro da anémona.

Constatamos que a inclusão da tarefa de identificação de LLM é complementar à tarefa de deteção de LLM. Por outras palavras, pedir ao nosso modelo que não só detete texto gerado por IA, mas também identifique o modelo de onde provém, é, em geral, útil para a deteção de IA. Outros investigadores também confirmaram que os vários LLMs não só são distinguíveis do texto humano, como também são distinguíveis uns dos outros.

Uma incorporação é uma representação de um trecho de texto sob a forma de um vetor numérico. Os valores concretos da incorporação não têm significado por si só, mas quando duas incorporações estão próximas uma da outra, isso significa que têm um significado semelhante ou um estilo semelhante. Utilizando uma técnica chamada UMAP, podemos visualizar as incorporações, que são de dimensão muito elevada, num espaço bidimensional. Estes autores descobriram que, quando documentos escritos por humanos e por LLMs são convertidos em incorporações de estilo, como se pode ver na imagem acima, todos os documentos correspondentes ao mesmo LLM são separáveis no espaço de incorporação! Isto significa que, em geral, todos os documentos escritos pelo mesmo LLM têm um estilo mais próximo do que aqueles escritos por LLMs diferentes, ou por LLMs e humanos.

Este resultado deu-nos a confiança de que era possível criar um classificador capaz de identificar o LLM de origem.

Precisão da identificação por IA

O nosso modelo tem uma precisão de 93% na identificação da família de LLM correta de onde provém um texto gerado por IA. Abaixo encontra-se a matriz de confusão, que mostra a frequência com que o nosso modelo identifica corretamente cada família de LLM (células na diagonal) em comparação com a frequência com que confunde uma LLM com outra (células fora da diagonal). Quanto mais escura for a cor, mais previsões se enquadram nessa célula. Um modelo perfeito teria quadrados escuros apenas ao longo da diagonal e quadrados brancos em todos os outros locais.

Algumas observações interessantes sobre a nossa matriz de confusão:

• É mais comum que haja confusão entre famílias de modelos. Por exemplo, o GPT-4 é frequentemente confundido com a série de modelos de raciocínio da OpenAI. Isto faz sentido, pois é provável que o GPT-4 seja um componente ou um ponto de partida para os modelos de raciocínio da OpenAI!

• O modelo confunde com maior frequência os LLMs com a categoria «Outros» do que com LLMs específicos. Isto demonstra que, nos casos em que o modelo não tem a certeza, é mais provável que opte por «Outros» em vez de se comprometer com um LLM específico.

Embora o classificador LLM não seja perfeito, costuma ser preciso e, mais importante ainda, quando o classificador LLM se engana, confunde determinados sistemas de IA com outros sistemas de IA, mas não confunde os resultados desses sistemas com textos escritos por seres humanos.

Por que é que a identificação por IA é importante?

Considerámos que era importante ir além da deteção de IA e resolver também a identificação de IA, por várias razões.

• Em primeiro lugar, acreditamos que ensinar o modelo a distinguir os estilos de escrita de diferentes LLMs — o que é uma tarefa mais complexa do que simplesmente identificar se algo é ou não gerado por IA — contribui para reforçar o desempenho do próprio detetor de IA. Ao exigir que o modelo vá além do esperado, este acaba, de certa forma, por adquirir competências avançadas e conhecimentos latentes que o ajudam a generalizar a deteção de texto gerado por IA com maior precisão.

• A interpretabilidade é outra razão pela qual queremos apresentar os resultados do classificador de LLM. Pretendemos reforçar a confiança de que o modelo sabe realmente o que está a fazer nos bastidores e não se limita a fazer suposições aleatórias (como muitos outros detetores aleatórios). Ao mostrar não só a pontuação de IA, mas também de que LLM provém o texto, esperamos reforçar a confiança na capacidade do modelo para compreender as nuances do estilo de escrita da IA.

• Por fim, pretendemos identificar padrões ao longo do tempo: quais são os LLMs que estão a ser utilizados na prática e com que frequência? Quais são os LLMs preferidos pelos estudantes, em comparação com os dos fraudadores e dos programadores? Este é o tipo de questões que agora esperamos poder responder em estudos futuros.

Conclusão

Esperamos que goste de experimentar a nossa funcionalidade de identificação por IA e que esta seja útil para ajudar as pessoas a compreender as personalidades e os estilos inerentes às diferentes famílias de LLM. Para mais informações, contacte info@pangram.com!