Come Quora utilizza Pangram per gestire le risposte scritte dall'intelligenza artificiale

Nell'aprile 2024, Pangram Labs ha stretto una partnership con Quora per aiutare l'azienda a contrastare gli spammer che utilizzavano ChatGPT per rispondere ai post con risposte non autentiche generate dall'intelligenza artificiale.

Quora è uno dei siti web più grandi al mondo, al 33° posto nella classifica dei siti web più visitati al mondo, con oltre 1 miliardo di visite al mese ad agosto 2024 (Fonte: Semrush). Quora consente agli utenti di pubblicare domande, che saranno viste e risposte da altri utenti che navigano sul sito.

"La nostra missione è condividere e far crescere la conoscenza nel mondo. Crediamo fermamente che gran parte della conoscenza sia racchiusa nelle menti delle persone e che, ponendo le domande giuste alle persone giuste, sia possibile estrarre tale conoscenza."

Lexie Wu, responsabile di prodotto del gruppo che guida la moderazione su Quora

Qual è il problema con le risposte dell'IA?

Un esempio di risposta scritta dall'IA

L'IA generativa consente agli spammer di generare centinaia o migliaia di risposte dall'aspetto autentico con il minimo sforzo. Si potrebbe sostenere che una risposta fornita dall'IA sia comunque un vantaggio netto. Gli utenti ottengono una risposta che forse è di bassa o media qualità, ma spesso corretta dal punto di vista direzionale. È meglio che non avere alcuna risposta, giusto?

In teoria, forse, ma ci sono diversi effetti indesiderati derivanti dall'utilizzo delle risposte dell'IA su Quora.

1. Quando una domanda ha già ricevuto una risposta, questo dissuade gli altri dal dedicare tempo a scrivere la propria risposta. Quindi, anche se una domanda può aver ottenuto una risposta soddisfacente dall'IA, la risposta dell'IA rende meno probabile che qualcuno scelga di condividere la propria esperienza nel mondo reale.
2. L'intelligenza artificiale soppianta i post autentici. Come su molte piattaforme, le visualizzazioni e il coinvolgimento sono un gioco a somma zero. Ogni volta che un utente vede contenuti generati dall'intelligenza artificiale sul proprio feed o digest, altri creatori reali perdono il coinvolgimento che meritano.
3. Rischio reputazionale. Le persone sono in grado di capire quando una risposta che stanno leggendo è stata scritta dall'intelligenza artificiale. Ciò solleva una domanda: perché visitare Quora se si leggono solo risposte generate dall'intelligenza artificiale? Perché non andare direttamente su ChatGPT? Quora offre una proposta di valore diversa da ChatGPT, ovvero risposte autentiche da persone reali, e cura la propria piattaforma per garantire che ciò rimanga vero.

Perché usare Pangram?

A volte è difficile capire a occhio nudo se un testo è stato scritto dall'intelligenza artificiale. Altre volte, è semplicemente un compito che richiede molto tempo, poiché il moderatore deve leggere attentamente il testo per un po' prima di poterlo confermare. Automatizzare questo processo libera il moderatore da un lavoro altrimenti costoso, consentendo di risparmiare tempo e denaro nel lungo periodo.

Sebbene esistano un paio di soluzioni open source che mirano a risolvere il problema del rilevamento dell'IA per GPT-2, nessuna soluzione ha funzionato bene su GPT-4, il modello linguistico di grandi dimensioni (LLM) più comunemente utilizzato. Piattaforme come Quora desiderano una soluzione in grado di classificare i risultati anche di modelli avanzati come GPT-4. Idealmente, una soluzione dovrebbe continuare a funzionare con i nuovi LLM, poiché ogni due mesi vengono rilasciati nuovi modelli linguistici all'avanguardia.

Pangram, con valutazioni robuste e un'accuratezza oltre 100 volte superiore rispetto a concorrenti come GPTZero, era una delle uniche opzioni in grado di rilevare in modo affidabile i contenuti scritti da GPT-4 nell'aprile 2024 e rimane ancora oggi il modello di rilevamento AI più accurato con un ampio margine.

Inoltre, la pipeline di dati di Pangram include una robustezza integrata per le future versioni di LLM. È in grado di generare dati di addestramento sintetici e di addestrare un nuovo modello entro 24 ore dalla disponibilità di un LLM. Nel luglio 2024, Pangram ha ampliato il supporto linguistico a oltre 20 lingue e continua ad apportare miglioramenti alla modellazione per garantire un'elevata precisione ai clienti.

Impatto

A settembre 2024, Quora ha identificato oltre 1 milione di post generati dall'intelligenza artificiale, migliorando la qualità dei contenuti in tutto il sito e mantenendo la propria reputazione di fonte di informazioni autentica e affidabile.

Pangram continua a fungere da moltiplicatore di forza per i team Trust & Safety, fornendo loro gli strumenti necessari per definire con sicurezza le politiche relative ai contenuti AI.

Hai un caso d'uso per il rilevamento dell'IA? Contattaci all'indirizzo info@pangram.com!