Qual é melhor: Pangram ou Turnitin?

Comparando os dois principais detetores de IA

Frequentemente me perguntam: «Em que o Pangram difere do detetor de plágio com IA da Turnitin?» Afinal, muitas escolas utilizam o detetor de plágio tradicional da Turnitin. O detetor de plágio com IA da Turnitin é simples de usar, mas muitos educadores optam pelo Pangram. Porquê? Na minha opinião, os dois fatores principais são a precisão e a disponibilidade.

Precisão do Pangram vs. Precisão do Turnitin

Qual é o nível de precisão do Pangram e do Turnitin? Cada empresa divulgou os seus próprios relatórios técnicos detalhando a precisão, e ambos foram avaliados quanto à precisão em diferentes estudos académicos.

No relatório técnico da Turnitin de setembro de 2024, eles relatam uma recuperação de 76,8% no texto gerado pelo GPT-4. Isso significa que a Turnitin detecta aproximadamente 77% do texto gerado por IA a partir do GPT-4 que vê.

Em contrapartida, o relatório técnico da Pangram demonstra uma precisão geral de 99,9% em textos gerados por IA, bem como em textos GPT-4 especificamente. Estes números são corroborados por pesquisas académicas independentes, nas quais três estudos distintos concluíram que a Pangram tem uma precisão superior a 99%.

Taxa de falsos positivos

A taxa de falsos positivos é um componente importante da precisão e, sem dúvida, o mais importante em um ambiente de sala de aula. Se não é possível confiar nos resultados do seu detector, qual é realmente a sua utilidade?

O relatório técnico da Turnitin mede uma taxa de falsos positivos de 0,51%, ou aproximadamente 1 em cada 200.

Taxa de falsos positivos relatada pela Turnitin no seu site

O Pangram, por outro lado, tem uma taxa de falsos positivos bem documentada de 0,01%, ou seja, 1 em cada 10.000. Num conjunto de dados de ensaios académicos semelhante à avaliação do Turnitin, o Pangram demonstra uma taxa de falsos positivos de 1 em cada 25.000.

Preconceito contra o ESL

Tanto o Pangram como o Turnitin afirmam ser imparciais em relação a falantes não nativos de inglês.

O Pangram mediu uma taxa de falsos positivos de 0,032% em quatro conjuntos de dados ESL retidos.

A Turnitin estudou o seu desempenho na escrita em inglês como segunda língua (ESL) e mediu uma taxa de falsos positivos de 1,4% na escrita em ESL, em comparação com 1,3% de FPR na escrita em outras línguas.

O Pangram conseguiu medir o mesmo conjunto de dados para uma comparação direta, demonstrando uma FPR significativamente menor de 0,02% em ESL e 0,0% em textos não ESL.

Disponibilidade

O Pangram está disponível para todos os professores, independentemente de a sua escola ter uma licença institucional. Os professores podem obter cinco verificações por dia gratuitamente, mas podem subscrever para usar o Pangram em grandes volumes. Se uma escola adquirir uma licença institucional, todos os professores e docentes terão acesso ilimitado ao Pangram.

O Turnitin só está disponível através de licença institucional. Não há como testar o produto de detecção de IA do Turnitin gratuitamente sem assinar a licença institucional.

Como posso usar o Pangram?

Existem três formas principais de utilizar o Pangram:

1. Painel: Pode usar o painel gratuito do Pangram para colar texto ou carregar documentos e verificar se eles contêm conteúdo gerado por IA. No painel, pode ver um relatório detalhado da escrita gerada por IA, incluindo um gráfico com os locais onde a IA foi encontrada e destaques de frases comuns geradas por IA.
2. Extensão do Chrome: pode usar a extensão Pangram do Chrome para verificar qualquer texto quanto a conteúdo de IA, selecionando-o e escolhendo «Verificar conteúdo de IA» no menu do botão direito do rato. Isto funciona em qualquer lugar na Internet, incluindo o Canvas Speedgrader e fóruns de discussão. A extensão também adiciona um botão no Google Docs para verificar instantaneamente o documento quanto a IA.
3. Integração com LMS: O Pangram possui diversas integrações, incluindo integrações com o Canvas e o Google Classroom. Estas estão disponíveis apenas através de licença institucional. Clique aqui para obter uma lista atualizada das nossas integrações.

Que idiomas são suportados?

O Pangram suporta 24 idiomas, incluindo inglês, árabe, chinês, holandês, checo, francês, alemão, grego, hindi, húngaro, italiano, japonês, coreano, persa, polaco, português, romeno, russo, espanhol, sueco, turco, ucraniano, urdu e vietnamita.

O Turnitin suporta três idiomas: inglês, japonês e espanhol.

Pangram vs. Turnitin Resumo

Em geral, tanto o Pangram como o Turnitin apresentaram provas substanciais para sustentar as suas alegações em matéria de precisão, mas o Pangram é duas ordens de magnitude mais preciso do que o Turnitin , quando comparado com outros detetores de IA. O Pangram suporta 24 idiomas, em comparação com os três idiomas suportados pelo Turnitin. O Pangram dispõe de um painel de controlo gratuito, de uma extensão para o Chrome e de licenças individuais ou institucionais, enquanto o Turnitin oferece apenas licenças institucionais.