Pangram vs. Turnitin: Qual é o melhor sistema de deteção por IA?

Se tem algum conhecimento sobre a área da integridade académica, provavelmente já conhece o Turnitin. É a referência no meio académico e, no que diz respeito à deteção de plágio, por boas razões. 

As escolas de todo o país utilizam o Turnitin para verificar se os trabalhos dos alunos contêm plágio — e seria de esperar que, uma vez que já faz parte integrante dos fluxos de trabalho, o recurso às suas funcionalidades de deteção por IA fosse o próximo passo natural. 

Mas, embora o sistema de deteção de IA do Turnitin possa ser útil numa situação de emergência, os conteúdos gerados por IA vão muito, muito além da sala de aula. Descobrimos que 67 % das pessoas que lêem na Internet já se depararam com informações enganosas geradas por IA — e, no entanto, este mesmo grupo continua preocupado com as taxas de falsos positivos. 

A precisão continua a ser importante, tanto dentro como fora da sala de aula. 

É por isso que, quando comparámos o Pangram e o Turnitin lado a lado, a precisão foi o aspeto mais importante que avaliámos. 

Hoje, vou apresentar-vos o nosso estudo, abordando o desempenho na deteção, as taxas de falsos positivos, o suporte linguístico, a acessibilidade, os preços e as opções de implementação, para vermos qual a plataforma mais adequada às vossas necessidades. 

Pangram vs Turnitin: O resumo

Embora à primeira vista pareçam semelhantes, o Pangram e o Turnitin abordam a deteção por IA com prioridades fundamentalmente diferentes. O Turnitin é um ecossistema mais abrangente que muitas instituições académicas já implementaram e que também inclui funcionalidades de deteção por IA. 

O Pangram, por outro lado, foi concebido especificamente para a deteção por IA, acima de tudo. 

O que é um pangrama?

A Pangram é uma plataforma de deteção de IA criada para educadores, editoras, equipas de admissão e, na verdade, qualquer pessoa ou organização que precise de avaliar a origem de um texto. Se precisar de saber se foi utilizada IA para criar algo, podemos ajudar. 

São os nossos métodos que nos distinguem dos outros detetores. As primeiras ferramentas de deteção baseadas em IA concentravam-se excessivamente em medidas superficiais, como a perplexidade e a variabilidade. 

Por isso, criámos o Pangram para dar resposta a dois dos maiores problemas na deteção de IA: os falsos positivos e os conteúdos de IA humanizados. 

Os nossos modelos são treinados com milhões de exemplos de textos escritos tanto por humanos como gerados por IA, o que lhes permite identificar corretamente o texto gerado sem assinalar indevidamente trabalhos escritos por humanos. 

O resultado? Um detetor concebido para analisar o documento na sua totalidade, em vez de apenas alguns sinais isolados. 

Atualmente, o Pangram suporta a deteção em 24 idiomas e disponibiliza uma plataforma web, uma extensão para o Chrome, integrações com sistemas de gestão de aprendizagem (LMS) e uma API empresarial para organizações que necessitam de verificar conteúdos em grande escala.

O que é o Turnitin?

Se frequentaste o ensino superior nas últimas duas décadas, de certeza que conheces este nome! O Turnitin é uma plataforma de integridade académica mais conhecida pelo seu software de deteção de plágio. A sua mais recente novidade surgiu em 2023, quando a empresa se expandiu para incluir a deteção de textos gerados por IA (uma iniciativa que fez todo o sentido). 

Muitas escolas já utilizavam o Turnitin para comparar os trabalhos entregues pelos alunos com vastas bases de dados de trabalhos publicados e submetidos. A introdução da deteção de IA permitiu às instituições avaliar, em simultâneo, tanto o plágio como os textos gerados por IA.

Assim, o Turnitin é frequentemente adotado como parte de um programa mais abrangente de integridade académica, em vez de ser utilizado como uma ferramenta autónoma de deteção de plágio.

O seu público-alvo principal continua a ser as escolas do ensino básico e secundário e as universidades que necessitam de sistemas centralizados para gerir a integridade académica em grande escala.

Precisão

Para quem está a avaliar uma ferramenta de deteção de IA, a precisão é A métrica a ter em conta. Felizmente, não é preciso adivinhar a precisão no que diz respeito a nenhuma destas duas ferramentas. Tanto a Pangram como a Turnitin publicaram relatórios técnicos, pelo que podemos comparar os números diretamente. 

Antes de entrarmos no assunto, vale a pena esclarecer o que significa «precisão» neste contexto, uma vez que o termo é utilizado de forma bastante livre no âmbito da deteção de IA. Na verdade, existem apenas duas métricas relevantes, pelo que é fácil de compreender. 

• Taxa de recuperação: Com que frequência é que o detetor identifica corretamente o conteúdo gerado por IA? 

• Taxa de falsos positivos: com que frequência é que o detetor identifica erroneamente a escrita humana como sendo da IA?

A maioria dos detetores de IA atualmente disponíveis no mercado tende a inclinar-se um pouco demasiado para um lado ou para o outro. É fácil destacar-se numa área, mas destacar-se em ambas é muito mais difícil. Felizmente, tanto o Pangram como o Turnitin têm um desempenho bastante bom neste aspeto. 

Graças ao relatório técnico da Turnitin, sabemos que os investigadores constataram uma taxa de deteção de 76,8% no conteúdo gerado pelo GPT-4 ao testarem a sua ferramenta. Isto significa que, nos ensaios técnicos, a Turnitin não detetou um em cada quatro trabalhos gerados por IA.

Da mesma forma, o relatório técnico da Pangram revelou que a Pangram apresentava uma taxa de deteção superior a 99,9% na mesma família de modelos. E para as instituições que analisam grandes volumes de trabalhos dos alunos, trata-se de uma diferença bastante significativa entre as duas ferramentas, sendo que a Pangram deteta uma percentagem muito maior do conteúdo gerado. 

As alegações de precisão, como as discutidas acima, só são úteis se forem passíveis de análise e forem regularmente testadas e revistas. É por isso que publicamos dados de referência e apoiamos a avaliação independente através de parcerias académicas e programas de acesso para investigadores. Vários estudos realizados por entidades independentes avaliaram diretamente o desempenho do Pangram. 

A história torna-se ainda mais interessante quando se analisam os falsos positivos. O Turnitin apresenta uma taxa de falsos positivos de aproximadamente 0,51%, ou seja, cerca de 1 em cada 200 documentos. Os testes de referência da Pangram indicam uma taxa de falsos positivos de 1 em cada 10 000 no total, sendo que os ensaios académicos apresentam um desempenho ainda melhor, com uma taxa de aproximadamente 1 em cada 25 000.

Quando comparo os dados de referência disponíveis, o vencedor em termos de precisão é óbvio. O Pangram deteta uma percentagem maior de conteúdos gerados por IA, ao mesmo tempo que gera muito menos falsos positivos.

Taxa de falsos positivos

A falta de texto gerado por IA é frustrante, mas acusar indevidamente um aluno de plágio num caso de integridade académica é, na minha opinião, muito pior.

Numa sala de aula, numa redacção ou num local de trabalho, um falso positivo pode ter consequências reais. Um aluno pode ser acusado de desonestidade académica, o trabalho de um jornalista pode ser posto em causa ou um editor pode perder a confiança numa submissão legítima. Se os utilizadores não puderem confiar nos resultados, a precisão do detetor torna-se muito menos significativa.

De acordo com a Turnitin, a plataforma regista uma taxa de falsos positivos de 0,51%, ou seja, cerca de 1 em cada 200. Isso significa que, aproximadamente, um documento autêntico é incorretamente sinalizado por cada 200 documentos avaliados.

Os relatórios de testes de referência publicados pela Pangram indicam uma taxa de falsos positivos de 1 em 10 000, no total. Num conjunto de dados de ensaios académicos comparável à avaliação do Turnitin, essa taxa desce ainda mais para 1 em 25 000.

Estes dados foram verificados de forma independente pela Universidade de Chicago, razão pela qual podemos atestá-los quando as instituições utilizam o Pangram para tomar decisões sobre o trabalho dos estudantes.

viés da ESL

Uma grande preocupação recorrente no que diz respeito à deteção de IA é se os autores cuja língua materna não é o inglês têm mais probabilidades de serem incorretamente identificados como utilizadores de IA. Uma vez que os falantes não nativos de inglês escrevem frequentemente de forma a produzir índices de perplexidade mais baixos, a escrita humana pode, por vezes, parecer estatisticamente semelhante ao texto gerado por IA.

Todos os detetores de IA afirmam que reduzir o viés relacionado com o inglês como segunda língua (ESL) é uma prioridade. Mas a verdadeira questão é se os números corroboram essa afirmação.

Durante a nossa avaliação do ESL, o modelo manteve taxas de falsos positivos extremamente baixas, tanto nos conjuntos de dados ESL como nos não ESL:

Estes resultados estão em consonância com a abordagem mais abrangente de Pangram à deteção de IA, que avalia padrões ao nível do documento, em vez de se basear em escolhas lexicais individuais ou em modelos de escrita rígidos.

Se quiser aprofundar-se na investigação subjacente, consulte a nossa análise da precisão da deteção por IA na escrita de falantes de inglês como segunda língua e as nossas capacidades multilingues de deteção por IA.

Disponibilidade

Embora possa parecer óbvio, um detetor de IA não serve de nada se não for possível utilizá-lo! Esta é uma das maiores diferenças entre o Pangram e o Turnitin, e vale a pena referi-la aqui, pois muitos docentes precisam, de facto, de uma solução individual.

O Pangram é para todos. Educadores a título individual, editoras, equipas jurídicas, revisores de conteúdos empresariais, entre outros. Crie uma conta e comece a utilizar a plataforma imediatamente, incluindo quatro análises gratuitas por dia. Não hesite e experimente-a já, se ainda não o fez. 

O Turnitin, por outro lado, é difícil de aceder, a menos que tenha sido concedido a nível institucional. Os docentes a título individual não têm, em grande parte, essa possibilidade. O acesso ao Turnitin é reservado a quem possui uma licença institucional, normalmente gerida por uma escola ou universidade.

No entanto, o Pangram não se destina apenas a particulares. As universidades e os distritos escolares também podem implementar o Pangram em grande escala através de licenças institucionais, proporcionando ao corpo docente e aos funcionários acesso ilimitado, a par de integrações com sistemas de gestão da aprendizagem (LMS).

Por outras palavras, o Pangram está disponível para utilização individual, continuando, no entanto, a suportar as implementações institucionais para as quais o Turnitin foi concebido. 

Preços

Na mesma linha, o Turnitin é igualmente discreto quanto aos seus preços. Se não for uma instituição, não terá acesso a informações sobre preços. 

A Pangram facilita o acesso e a comparação dos nossos preços. Os utilizadores individuais podem começar a utilizar o serviço gratuitamente, com quatro análises por dia, sendo que os planos pagos começam nos 15 dólares por mês, para um máximo de 600 análises com IA. Também estão disponíveis licenças institucionais para escolas e organizações que necessitem de um acesso mais alargado, para que possamos satisfazer cada tipo de necessidade.

O Turnitin, no entanto, não divulga publicamente os seus preços. As licenças institucionais estão disponíveis mediante orçamento, sendo os preços normalmente negociados diretamente com as instituições de ensino. Não existe um plano individual nem uma opção de autoatendimento para quem pretenda avaliar o detetor antes de tomar uma decisão de compra, pelo que não podemos pronunciar-nos de forma exaustiva sobre os seus preços.

Idiomas suportados 

O suporte linguístico é uma das diferenças práticas mais significativas entre as duas plataformas.

O Pangram suporta 24 idiomas, incluindo inglês, árabe, chinês, neerlandês, checo, francês, alemão, grego, hindi, húngaro, italiano, japonês, coreano, persa, polaco, português, romeno, russo, espanhol, sueco, turco, ucraniano, urdu e vietnamita.

O Turnitin, por outro lado, suporta três idiomas: inglês, japonês e espanhol. No entanto, as nossas funcionalidades de parafraseamento com IA e de contornar a deteção só estão disponíveis para trabalhos submetidos em inglês.

Para instituições que atendem a populações de estudantes internacionais, ou para equipas empresariais que revêem conteúdos em várias línguas, essa lacuna é significativa. Um detetor que apenas suporta três línguas cria pontos cegos, deixando o conteúdo gerado por IA em línguas não suportadas fora do âmbito da revisão.

Como posso utilizar o Pangram?

Uma vantagem que o Pangram tem em relação ao Turnitin é a flexibilidade. Em vez de se limitar a um único fluxo de trabalho, o Pangram pode ser utilizado de várias formas diferentes, dependendo da forma como revisa o conteúdo:

• Painel de controlo: Pode utilizar o painel de controlo gratuito do Pangram para colar texto ou carregar documentos e verificar se contêm conteúdo gerado por IA. A partir do painel de controlo, pode ver um relatório detalhado sobre a escrita gerada por IA, incluindo um gráfico que indica onde a IA foi detetada e destaques das frases mais comuns geradas por IA.

• Extensão do Chrome: Pode utilizar a extensão Pangram para o Chrome para verificar se qualquer texto contém conteúdo gerado por IA, selecionando-o e escolhendo «Verificar conteúdo gerado por IA» no menu do botão direito do rato. Esta funcionalidade funciona em qualquer parte da Internet, incluindo o Speedgrader do Canvas e os fóruns de discussão. A extensão também adiciona um botão no Google Docs para verificar instantaneamente se o documento contém conteúdo gerado por IA.

• Integração com LMS: O Pangram oferece várias integrações, incluindo o Canvas e o Google Classroom. Estas só estão disponíveis através de uma licença institucional 

Encontre a plataforma de deteção por IA mais adequada para a sua equipa

Em termos gerais, tanto o Pangram como o Turnitin apresentaram provas substanciais para sustentar as suas alegações em matéria de precisão, mas o Pangram é duas ordens de magnitude mais preciso do que o Turnitin, quando comparado com outros detetores de IA.

Se quiseres ver a diferença por ti próprio, podes experimentar o Pangram gratuitamente. Faz a tua primeira análise com o nosso detetor de IA, usa a extensão do Chrome para verificar o conteúdo enquanto navegas ou explora a nossa API Enterprise para veres como funciona.