O que é melhor: o Pangram ou o Turnitin?

Comparando os dois principais detectores de IA

Perguntam-me frequentemente: «Em que é que o Pangram difere do detetor de plágio com IA do Turnitin?» Afinal, muitas escolas utilizam o detetor de plágio tradicional do Turnitin. O detetor de plágio com IA do Turnitin é fácil de utilizar, mas muitos educadores optam pelo Pangram. Porquê? Na minha opinião, os dois fatores principais são a precisão e a disponibilidade.

Precisão do Pangram vs. Precisão do Turnitin

Qual é o nível de precisão do Pangram e qual é o do Turnitin? Cada empresa publicou os seus próprios relatórios técnicos detalhando a precisão, e ambas foram avaliadas quanto à precisão em diferentes estudos académicos.

No relatório técnico da Turnitin de setembro de 2024, é indicado um índice de deteção de 76,8% em textos gerados pelo GPT-4. Isto significa que a Turnitin deteta cerca de 77% dos textos gerados por IA pelo GPT-4 que analisa.

Em contrapartida, o relatório técnico da Pangram demonstra uma taxa de recuperação global de 99,9% no que diz respeito a textos gerados por IA, bem como especificamente a textos do GPT-4. Estes números são corroborados por investigação académica independente, na qual três estudos distintos concluíram que a Pangram apresenta uma precisão superior a 99%.

Taxa de falsos positivos

A taxa de falsos positivos é um componente importante da precisão e, sem dúvida, o mais importante num contexto escolar. Se não se pode confiar nos resultados do seu detetor, qual é, então, a sua verdadeira utilidade?

O relatório técnico da Turnitin indica uma taxa de falsos positivos de 0,51 %, ou seja, aproximadamente 1 em cada 200.

A taxa de falsos positivos indicada pela Turnitin no seu site

Por outro lado, o Pangram apresenta uma taxa global de falsos positivos bem documentada de 0,01%, ou seja, 1 em cada 10 000. Num conjunto de dados de ensaios académicos semelhante ao utilizado na avaliação do Turnitin, o Pangram apresenta uma taxa de falsos positivos de 1 em cada 25 000.

Preconceito em relação aos falantes de inglês como segunda língua

Tanto o Pangram como o Turnitin afirmam não ter preconceitos em relação a falantes de inglês não nativos.

O Pangram registou uma taxa de falsos positivos de 0,032% em quatro conjuntos de dados de ESL não utilizados no treino.

A Turnitin analisou o seu desempenho na avaliação de textos de alunos de inglês como segunda língua (ESL) e registou uma taxa de falsos positivos de 1,4% nesses textos, em comparação com uma taxa de 1,3% nos textos de alunos cuja língua materna não é o inglês.

O Pangram conseguiu analisar o mesmo conjunto de dados para uma comparação direta, demonstrando uma taxa de falsos positivos (FPR) significativamente mais baixa, de 0,02% na escrita de alunos de inglês como segunda língua (ESL) e de 0,0% na escrita de alunos que não são de ESL.

Disponibilidade

O Pangram está disponível para todos os professores, independentemente de a sua escola possuir uma licença institucional. Os professores têm direito a cinco verificações por dia gratuitamente, mas podem subscrever um plano para utilizar o Pangram em grande escala. Se uma escola adquirir uma licença institucional, todos os professores e membros do corpo docente terão acesso ilimitado ao Pangram.

O Turnitin só está disponível através de uma licença institucional. Não há forma de testar gratuitamente o produto de deteção por IA do Turnitin sem subscrever a sua licença institucional.

Como posso utilizar o Pangram?

Existem três formas principais de utilizar o Pangram:

1. Painel de controlo: Pode utilizar o painel de controlo gratuito do Pangram para colar texto ou carregar documentos e verificar se contêm conteúdo gerado por IA. A partir do painel de controlo, pode ver um relatório detalhado sobre a escrita gerada por IA, incluindo um gráfico que indica onde a IA foi detetada e destaques das frases mais comuns geradas por IA.
2. Extensão do Chrome: Pode utilizar a extensão Pangram para o Chrome para verificar se qualquer texto contém conteúdo gerado por IA, selecionando-o e escolhendo «Verificar conteúdo gerado por IA» no menu do botão direito do rato. Isto funciona em qualquer lugar na Internet, incluindo o Canvas Speedgrader e os fóruns de discussão. A extensão também adiciona um botão no Google Docs para verificar instantaneamente se o documento contém conteúdo gerado por IA.
3. Integração com LMS: O Pangram oferece várias integrações, incluindo integrações com o Canvas e o Google Classroom. Estas só estão disponíveis através de uma licença institucional. Clique aqui para ver uma lista atualizada das nossas integrações.

Que idiomas são suportados?

O Pangram suporta 24 idiomas, incluindo inglês, árabe, chinês, neerlandês, checo, francês, alemão, grego, hindi, húngaro, italiano, japonês, coreano, persa, polaco, português, romeno, russo, espanhol, sueco, turco, ucraniano, urdu e vietnamita.

O Turnitin está disponível em três idiomas: inglês, japonês e espanhol.

Resumo: Pangram vs. Turnitin

Em termos gerais, tanto o Pangram como o Turnitin apresentaram provas substanciais para sustentar as suas alegações em matéria de precisão, mas o Pangram é duas ordens de magnitude mais preciso do que o Turnitin, quando comparado com outros detetores de IA. O Pangram suporta 24 idiomas, em comparação com os três idiomas suportados pelo Turnitin. O Pangram disponibiliza um painel de controlo gratuito, uma extensão para o Chrome e licenças individuais ou institucionais, enquanto o Turnitin oferece apenas licenças institucionais.

Está a analisar o panorama geral dos detectores de plágio no ensino superior? Veja quais os detectores de IA que as instituições de ensino superior devem utilizar.