Analisando as frases mais utilizadas em relação à IA

Como discutimos na semana passada, a IA tende a usar certas palavras e frases em excesso. Você pode conhecer algumas delas de cor: de «uma prova de» a «aprofundar». Ver muitas dessas frases pode ser um forte indicador de que o texto com o qual você está a lidar foi gerado por IA, mas são muitas para que uma única pessoa consiga acompanhar.

Para resolver este problema, introduzimos recentemente uma ferramenta chamada «frases de IA», onde destacamos especificamente essas frases. Como parte do nosso processo de criação dessa ferramenta, construímos um grande conjunto de dados das frases de IA mais utilizadas. Neste artigo, apresentaremos algumas das frases de IA mais comuns que aparecem no nosso conjunto de dados e falaremos sobre como pode utilizá-las para aprimorar a sua intuição em relação ao texto gerado por IA.

Parte 1: Artefactos de IA

Devemos começar pelo mais óbvio: às vezes, uma IA realmente diz que é uma IA! Muitas vezes, isso acontece como resultado de uma recusa. Quando um utilizador pede algo a uma IA que ela foi instruída a não fazer, ela precisa dizer ao utilizador que não pode atender ao pedido e, como parte disso, o modelo frequentemente reconhece que é uma IA. Muitas recusas de IA começam com a frase «Como um modelo de linguagem de IA...». Consequentemente, esse tipo de frase seria bastante comum em textos de IA e extremamente raro em textos humanos. Os números comprovam isso! Muitas das nossas frases de IA mais comuns são autorreferenciais.

Frase	Mais comum
Como um modelo de linguagem de IA,	294,000x
Não tenho pessoal	67,000x
Infelizmente, não tenho o suficiente.	54,000x
modelo linguístico, não consigo	53,000x

Parte 2: Frases muito usadas

Os artefactos de IA são algumas das nossas expressões de IA «mais utilizadas», mas, em última análise, são bastante óbvios e, portanto, pouco interessantes. Agora chegamos à parte interessante: expressões que são realmente super-representadas em textos de IA, mas que não têm nada a ver com «ser uma IA». Aqui estão algumas delas:

Frase	Mais comum
como um comovente	49,000x
Como um poderoso lembrete	43,000x
lembrete do duradouro	31,000x
enfrentou inúmeros desafios	30,000x
Os nossos resultados fornecem novas perspetivas sobre	22,000x
na complexa interação	21,000x
serve como um poderoso	10,000x
fornecendo informações valiosas sobre	5,000x
serve como testemunho	4,000x
novo sentido de propósito	4,000x
mesmo diante do inimaginável	3,000x
lembrete do potencial	3,000x

Parte 3: Por que a IA usa frases em excesso?

É fácil entender por que uma IA que diz «Como uma IA...» pode ser muito mais comum em textos de IA. Mas o que faz com que as frases aparentemente não relacionadas na Parte 2 sejam mais comuns? Em primeiro lugar, existe um fenómeno conhecido como «colapso de modo», em que as saídas da IA se tornam excessivamente genéricas ou repetitivas ao basear-se em sequências de palavras de alta probabilidade. Colapso de modo...

Além disso, após o treino, é prática comum realizar RLHF: Reinforcement Learning from Human Feedback (Aprendizagem por Reforço a partir do Feedback Humano). Durante esse processo, anotadores humanos classificam textos gerados por IA com base em vários atributos, a fim de incentivar alguns padrões e desencorajar outros. Ao longo desse processo, se determinadas respostas ou frases forem suscetíveis de serem recompensadas por esses anotadores humanos, elas se tornarão cada vez mais frequentes.

Como resultado, algumas dessas frases excessivamente utilizadas podem ser consideradas uma característica de modelos, arquiteturas e processos de treino específicos, em vez de apenas marcas registradas da própria escrita da IA. Um artigo de Jenna Russell, Marzena Karpinska e Mohit Iyyer, da Universidade de Maryland, mostra que modelos diferentes têm, na verdade, frases preferidas diferentes:

usado em excesso

Isso sugere que diferentes modelos, treinados com diferentes conjuntos de dados e estratégias de otimização, podem desenvolver as suas próprias tendências distintas na repetição de frases.

Bónus: Os N-gramas favoritos da nossa equipa

Como parte do nosso trabalho, a nossa equipa passou inúmeras horas a ler e analisar textos gerados por IA. Naturalmente, desenvolvemos afinidade por algumas dessas frases:

Aqui estão as frases favoritas da nossa equipa sobre IA:

• Max (CEO): «Em constante evolução» (11 000x)

• Bradley (CTO): «importante notar» (3.000x)

• Lu: (Engenheiro fundador): “natureza complexa” (6.000x)

• Elyas (engenheiro fundador): «tapeçaria vibrante» (17 000x)