Qual é a capacidade do Pangram para detetar modelos de raciocínio?

Um dos avanços mais importantes nos modelos de linguagem de grande escala em 2025 foi o surgimento dos modelos de raciocínio. Trata-se de modelos que, em termos coloquiais, aprenderam a pensar antes de falar.

O que é um modelo de raciocínio?

Um modelo de raciocínio é semelhante a um LLM normal, com a diferença de que, além de produzir tokens de saída, estes modelos também são treinados para produzir tokens de raciocínio. Na fase de raciocínio, o modelo tenta resolver tarefas complexas, experimentando diferentes abordagens e questionando-se a si próprio antes de dar uma resposta. Na prática, estes modelos destacam-se na resolução de problemas, particularmente nas áreas da matemática e da programação, e apresentam resultados muito acima do esperado nas pontuações de benchmark.

Como funcionam os modelos de raciocínio?

Os modelos de raciocínio realizam o que se denomina uma «cadeia de pensamento» antes de falar. Aqui está um exemplo de como isso funciona, retirado do Deepseek-R1, o único modelo de raciocínio que, atualmente, divulga publicamente os «pensamentos» do modelo.

Exemplo de cadeia de raciocínio do Deepseek R1

Neste exemplo, o Deepseek analisa o que o utilizador pretende antes de começar a gerar tokens, o que o torna mais eficaz na organização lógica e na reflexão sobre qual poderá ser o melhor resultado possível.

Quais são os modelos de raciocínio mais comuns?

Vários fornecedores desenvolveram modelos de raciocínio que alcançaram um desempenho de ponta.

OpenAI

A série de modelos de raciocínio da OpenAI denomina-se Série O. Os modelos atualmente disponíveis são o o1, o o1-mini, o o3, o o3-pro e o o4-mini. O o3-pro é o mais potente destes modelos.

Antropico

A Anthropic adicionou capacidades de raciocínio às versões mais recentes do Claude. Tanto o Claude 4 Opus como o Claude 4 Sonnet dispõem de um modo de «raciocínio alargado» que lhes permite raciocinar antes de responderem.

Gémeos

A série de modelos Gemini 2.5 da Google utiliza agora um processo de raciocínio interno, sendo também modelos de raciocínio. O Gemini 2.5 Pro, o Gemini 2.5 Flash e o Gemini 2.5 Flash-Lite possuem todos capacidades de raciocínio.

Deepseek

O Deepseek R1 foi o primeiro modelo de raciocínio de código aberto e foi lançado pela empresa chinesa Deepseek. Ao contrário dos outros modelos comerciais de código fechado, no Deepseek é possível ver efetivamente o raciocínio do modelo, para além do resultado final.

Qwen

Além disso, outra empresa chinesa, a Qwen, lançou um modelo de raciocínio denominado Qwen-QWQ-32B. Trata-se de um modelo de raciocínio mais compacto que pode ser implementado numa variedade de contextos mais ampla do que o Deepseek R1.

Qual é o desempenho do Pangram nestes modelos de raciocínio?

Lançámos recentemente uma atualização do modelo de deteção por IA da Pangram que melhora o desempenho dos modelos de raciocínio em todos os aspetos.

A melhoria de desempenho mais significativa verifica-se nos modelos o3 e o3-pro. Percebemos que o o3 e o o3-pro são modelos bastante diferentes dos modelos lançados anteriormente pela OpenAI, e o nosso antigo modelo de deteção de IA não conseguia generalizar tão bem em relação a eles, apresentando apenas 93 % de recall quando o testámos pela primeira vez.

Resolução de o3 e o3-pro

Outro problema com que nos deparámos é que o o3 e o o3-pro são significativamente mais caros do que os seus antecessores, o que significa que não conseguiríamos gerar dados a partir deles na mesma escala que os outros modelos. Para complicar ainda mais as coisas, estes modelos também demoram mais tempo a executar, uma vez que passam muito tempo a «pensar» antes de gerarem os tokens de saída.

Regenerámos os dados do nosso conjunto de treino, incluindo uma pequena quantidade de dados o3 e o3-pro. No nosso conjunto de treino final para o lançamento de julho, o texto o3 representa apenas 0,17% da composição dos dados de treino, e o texto o3-pro representa apenas 0,35%. Equilibrámos esta situação e esperámos obter generalização, aumentando também a composição do texto o3-mini para 5% da mistura de dados de treino. Surpreendentemente, isto funcionou muito bem! Com apenas um ligeiro ajuste no conjunto de treino, conseguimos igualar a taxa de recuperação do o3 e do o3-pro à taxa de recuperação dos outros LLMs que avaliamos, sem ter de sacrificar quaisquer falsos positivos.

O Pangram aprende com poucas tentativas

Este comportamento do Pangram, que permite treiná-lo com uma pequena amostra de dados provenientes de novos LLMs qualitativamente diferentes dos seus antecessores, faz do Pangram o que designamos por «Few-Shot Learner». Este comportamento tem implicações significativas: quando são lançados novos LLMs, ou mesmo novos produtos baseados em LLMs que, nos bastidores, se baseiam em LLMs ajustados com precisão que podem ter estilos de escrita subjacentes diferentes, o Pangram é capaz de se adaptar a eles de forma rápida e económica, sem a necessidade de uma regeneração massiva do conjunto de dados.

Muitas pessoas perguntam-nos por que razão acreditamos que podemos vencer o que, em última análise, é um jogo do «gato e do rato». Como o Pangram aprende com poucos exemplos, acompanhar os novos LLMs não é tão difícil como pode parecer à primeira vista — bastam-nos apenas alguns exemplos para mostrar ao Pangram antes de ele ser capaz de generalizar e aprender o padrão de forma muito eficiente. Em termos simples, o Pangram é extremamente eficaz a «aprender a aprender» como soam os novos LLMs, porque já viu tantos LLMs no seu passado.

Isso, aliado ao facto de cada LLM ter o seu próprio estilo distinto e idiossincrático, tem facilitado a adaptação do Pangram aos novos LLMs à medida que estes são lançados, mesmo com os LLMs a melhorarem e a tornarem-se mais capazes. Na nossa opinião, a capacidade de um LLM é independente da sua detectabilidade.

Considerações finais: Por que é que o o3 e o o3-pro são diferentes?

Ouvimos de várias pessoas nos círculos de IA que o o3 e o o3-pro têm realmente um toque diferente dos outros LLMs que já vimos anteriormente. Pela nossa experiência, são os primeiros modelos em muito tempo (desde o Claude 2) em que o Pangram não consegue um zero-shot com mais de 99% de fiabilidade (sem ver quaisquer dados do modelo). Embora seja difícil identificar exatamente o que os torna diferentes, eis uma compilação de algumas hipóteses sobre o que poderá ter de especial neles.

• O o3 e o o3-pro estão excessivamente otimizados para a utilização de ferramentas. Sabemos que o Pangram deteta, em grande parte, conteúdo gerado por IA com base em comportamentos e idiossincrasias introduzidos no pós-treino. A OpenAI afirma na sua publicação no blogue que o o3 e o o3-pro diferem dos seus antecessores na medida em que são treinados utilizando aprendizagem por reforço para utilizar ferramentas como parte do seu processo de pós-treino. Esta diferença no algoritmo de pós-treino pode também ter afetado qualitativamente o estilo dos resultados.

• O o3 e o o3-pro apresentam mais alucinações. Segundo Nathan Lambert, o o3 inseriu um caractere não ASCII inválido no código e alucinou sobre ações que realizou ao tentar resolver tarefas, como, por exemplo, alucinar que executou código de cronometragem num Macbook Pro que era totalmente inventado; além disso, avaliações independentes realizadas pela METR revelaram que o o3 tem uma propensão para «manipular as suas pontuações», em vez de resolver efetivamente tarefas de agência.

Para mais informações sobre o o3 e o o3-pro, recomendamos a leitura do post do blogue do Nathan, do «Vibe Check» de Dan Shipper e do post de lançamento da OpenAI.

Conclusão

O Pangram é tão eficaz em modelos de raciocínio como qualquer outro LLM, mas o o3 e o o3-pro parecem diferir dos seus antecessores em termos de estilo e tom de escrita. Ao longo do processo de melhoria do desempenho do Pangram no o3 e no o3-pro, percebemos que, na verdade, talvez não precisemos de tantos exemplos de cada LLM quando estes são lançados, uma vez que o Pangram é extremamente eficaz na aprendizagem com poucos exemplos.

Estamos a ponderar alterações na nossa arquitetura e rotina de treino que tornarão a atualização do Pangram muito mais rápida e fácil, e nos permitirão lançar modelos de deteção de IA capazes de identificar os mais recentes LLMs ainda mais rapidamente do que antes. Fique atento a mais novidades!