Um apelo à realização de novas avaliações do pangrama

Consideramos essencial que investigadores independentes auditem detetores de IA como o Pangram. Atualmente, a nossa avaliação independente com a maior amostra foi realizada pela Universidade de Chicago e decorreu há mais de um ano, utilizando o Pangram 3. Estão constantemente a ser lançados novos modelos de linguagem de grande escala (LLMs), e a avaliação binária entre documentos totalmente gerados por IA e documentos totalmente escritos por humanos não reflete todo o espectro do desempenho no mundo real.

Precisamos de mais testes de desempenho do Pangram de alta qualidade e totalmente independentes. Um bom teste de desempenho irá ajudar-nos a compreender e a melhorar o Pangram, além de contribuir para definir a forma como o mundo irá interagir com a IA nos próximos anos.

Estamos a lançar um apelo à apresentação de novas avaliações realizadas por terceiros. Alguns exemplos de avaliações que gostaríamos de ver são aquelas que tentam responder a uma das seguintes perguntas:

• Até que ponto os detetores atuais conseguem identificar texto proveniente dos modelos de IA de última geração?
• Qual é o desempenho dos detetores de IA em contextos complexos, como investigação aprofundada, num ambiente de controlo de agentes ou ao longo de várias iterações de edição por IA?
• Qual é o desempenho dos detetores em textos com autoria mista? A investigação nesta área poderia explorar todo o espectro da assistência da IA, desde pequenas correções gramaticais até à coautoria total.
• Qual é o desempenho dos detetores de texto baseados em IA na análise dos resultados dos programas de conversão de voz em texto baseados em IA? Em que medida estes programas alteram o texto?
• Qual é o desempenho dos detetores de IA em textos gerados por IA e por humanos, escritos em diferentes línguas?
• Qual é o desempenho dos detetores de IA em textos escritos por autores de diferentes origens, de diferentes grupos étnicos ou culturais, e em textos de diferentes géneros ou tipos? Mesmo os resultados nulos, que não revelam qualquer viés, continuam a ser interessantes para nós.
• Qual é o desempenho dos detetores de IA em novos tipos de texto, como documentos históricos recém-digitalizados?
• Qual é o desempenho dos detetores de IA em textos técnicos, equações matemáticas ou código — tanto os escritos por IA como os escritos por humanos?

O que valorizamos num benchmark são dados extraordinariamente limpos, dados de LLM de vanguarda e um nível de dificuldade suficientemente elevado para que o benchmark não seja saturado pela maioria dos detetores.

Temos todo o prazer em conceder subvenções para este tipo de avaliações. Assim que o tema da subvenção for aprovado, não impomos quaisquer condições de publicação a estas subvenções — os investigadores têm total liberdade para publicar quaisquer resultados que obtenham, sejam eles favoráveis ou não à Pangram.

Se é investigador e gostaria de nos avaliar comparativamente, inscreva-se aqui.