Acreditamos que a deteção por IA continuará a ser viável, mesmo perante modelos de ponta poderosos como o Claude Mythos Preview.

Quando um autor, seja ele humano ou um modelo de linguagem grande (LLM), escreve um texto, está a tomar decisões. Mesmo num texto de apenas 150 palavras, um autor pode tomar centenas de milhares de decisões, conscientes e inconscientes, sobre a escolha das palavras, a ordem das palavras, a colocação da pontuação e a estrutura das frases.

Fundamentalmente, a deteção de IA é uma questão de identificação do autor. Por mais sofisticado que um determinado modelo venha a ser, continua a ser um único autor a tomar as decisões. Estas decisões estão também sujeitas a restrições: os modelos assistentes têm de produzir textos que sejam úteis, claros e de fácil leitura. Estas características são incorporadas no modelo através do ajuste fino supervisionado e da aprendizagem por reforço.

Mesmo o modelo de fronteira mais sofisticado continua a ser um único sistema estruturado e terá hábitos e peculiaridades identificáveis. Estes modelos também geram uma grande quantidade de texto, o que significa que temos muitas oportunidades para aprender que tipo de decisões são suscetíveis de tomar.

Por vezes, as pessoas apresentam o problema como se «a distância estatística entre a escrita humana e a escrita da IA estivesse a diminuir». Esta é uma interpretação errada do que a deteção faz. A IA já escreve suficientemente bem para passar por humana aos olhos de quem não tem experiência, como vimos num questionário viral do NYT. Mas a escrita produzida por um modelo, tal como a produção de qualquer autor individual, estará sempre agrupada no espaço de incorporação. É por isso que acreditamos que a deteção de IA continuará a ser viável, mesmo à medida que os modelos se tornam cada vez mais poderosos.

Os resultados parecem promissores. O atual modelo Pangram conseguiu identificar corretamente o conto «Mythos Preview» publicado no cartão do sistema.

Desde que os modelos sejam sistemas treinados, acreditamos que a deteção continuará a ser um problema que pode ser resolvido.