Come riconoscere i testi generati dall'intelligenza artificiale

ChatGPT produce 2000 parole di scarti in pochi secondi

ChatGPT e altri modelli linguistici di grandi dimensioni (LLM), comunemente indicati in modo generico come "IA", sono diventati strumenti sempre più diffusi. Il loro utilizzo più comune è quello di assistente, in cui un utente può chattare direttamente con il modello linguistico. Tuttavia, gli LLM vengono sempre più spesso impiegati per creare "slop", un termine che indica contenuti generati dall'IA indesiderati o realizzati in modo approssimativo. Un esempio di "AI slop" è un post sul blog scritto interamente da ChatGPT e pubblicato su Internet allo scopo di aumentare il traffico di ricerca. Un altro esempio di "AI slop" è un'azienda che cerca di migliorare le proprie valutazioni utilizzando l'IA per scrivere diverse recensioni lunghe ed elogiative.

Pangram Labs ha addestrato un modello di machine learning ad alta precisione per classificare i testi generati dall'intelligenza artificiale. Al termine dell'addestramento, il modello ha analizzato centinaia di milioni di esempi di testi scritti da esseri umani e generati dall'intelligenza artificiale. Questo articolo ti aiuterà a sviluppare la tua capacità di riconoscere i testi generati dall'intelligenza artificiale, possibilmente con un numero ridotto di esempi.

Ho parlato con docenti, consulenti per le ammissioni ed editori che, nell’ultimo anno, sono stati costretti ad acquisire questa competenza a causa del massiccio aumento dell’uso dell’intelligenza artificiale. Questo articolo è una sintesi delle informazioni che ho raccolto da loro, oltre che delle tecniche che utilizziamo internamente in Pangram per mettere al passo i nuovi assunti. Dopotutto, non è possibile addestrare un buon modello di machine learning se non si ha familiarità con il compito stesso.

TL;DR

• Cerca le espressioni più comuni relative all'intelligenza artificiale.
• Chiedi a ChatGPT di generare diversi esempi del tipo di documento che stai cercando di individuare e cerca eventuali somiglianze.
• Prova a rendere irriconoscibile un testo scritto dall'intelligenza artificiale e cerca di individuare ciò che salta all'occhio.
• Usa un strumento di controllo antiplagio per affinare il tuo intuito.

Elementi della scrittura

Argomento

In genere, l'IA non può scegliere autonomamente l'argomento: le viene chiesto di scrivere su qualcosa di specifico. Ciononostante, l'IA tenderà a privilegiare gli argomenti secondari che sceglie autonomamente. Ad esempio, se chiedo a ChatGPT di scrivermi un saggio sul simbolismo in Moby Dick, probabilmente sceglierà la stessa serie di argomenti più ovvi. Tuttavia, qualsiasi studente potrebbe chiedere a ChatGPT di scrivere specificamente su una certa forma di simbolismo nel libro, e ChatGPT sarà in grado di farlo. Per questo motivo, non do troppa importanza all'argomento quando valuto se un testo sia stato scritto dall'IA o meno.

Struttura

Quando le viene chiesto di redigere documenti completi, l'IA tende generalmente ad attenersi a una struttura predefinita. Se le chiedi di scrivere un post sul blog, inizierà con un'introduzione, 3-4 paragrafi, alcuni punti elenco e una conclusione che riassume il post. Allo stesso modo, se voglio che l'IA mi scriva una recensione di un ristorante, spesso inizierà dicendo "Recentemente ho avuto il piacere di cenare al ____", parlerà del cibo, dell'atmosfera e del servizio, e concluderà con un entusiasta "Consiglio vivamente". Sebbene sia possibile modificare la struttura predefinita ("Scrivimi un post sul blog di 20 paragrafi", "Tieni breve la recensione, non menzionare il nome del ristorante"), ciò richiede uno sforzo che molti utenti non sono disposti a compiere. Quando la scrittura è strutturata in modo simile ad altri testi generati dall'IA, questo è un forte indizio iniziale per approfondire la questione.

Stile

Nel poker, il termine "tell" indica un segnale che una persona emette inconsapevolmente quando bluffa. Ad esempio, quando qualcuno è nervoso potrebbe giocherellare con gli occhiali, rivelando così informazioni sulle proprie puntate. Allo stesso modo, su Pangram definiamo alcune parole o frasi "AI tells": si tratta di parole o frasi che ChatGPT o altri modelli linguistici utilizzano in modo sproporzionatamente frequente e che, una volta che si inizia a notarle, costituiscono un segnale molto evidente della loro origine artificiale.

"Delve" è un esempio lampante di un indizio rivelatore dell'intelligenza artificiale, poiché ChatGPT lo utilizza molto più spesso di quanto non avvenga nel normale inglese americano.

Ho anche notato che "Ho avuto recentemente il piacere di" è un'espressione comune nelle recensioni di ristoranti e che ChatGPT riesce sempre a inserire la parola "entusiasta" se gli si chiede di scrivere una lettera di presentazione. Anche con prompt molto specifici, i modelli di linguaggio a grande scala (LLM) sono fortemente influenzati da tendenze stilistiche interne. Per questo motivo, lo stile è un indicatore importante su cui faccio molto affidamento.

Ecco un elenco di frasi comuni relative all'intelligenza artificiale da utilizzare come punto di partenza. (Fonti: reddit, aiphrasefinder.com)

• "È importante sottolineare che"
• "Immergiti in"
• "Arazzo"
• "Vivace"
• "Vivace"
• "In sintesi" o "In conclusione"
• "Ricordati che..."
• "Tuffati in"
• "Orientarsi", ovvero "Orientarsi nel panorama" "Orientarsi nelle complessità di"
• "Paesaggio", ovvero "Il paesaggio di...", in particolare "un paesaggio in continua evoluzione"
• "Testamento", ovvero "una testimonianza di..."
• "Nel mondo di"
• "Regno"
• "Imbarcarsi"
• "Sinfonia"
• "Abbraccia"
• "Che tu sia X o Y"
• "Quando si tratta di"

Tecniche per migliorare il tuo intuito

Le frasi sono un buon punto di partenza, ma spesso l'IA genera testi che sono chiaramente scritti dall'IA ma che non utilizzano nessuna di queste frasi. Per migliorare questa competenza, dovremo dedicare un po' di tempo allo studio concreto della scrittura generata dall'IA.

Studiare la scrittura basata sull'intelligenza artificiale

Ad alcuni potrebbe sembrare sgradevole, ad altri invece entusiasmante, ma se vuoi riconoscere i testi generati dall’IA devi sapere come si presentano. È utile avere in mente un tipo specifico di testo che desideri essere in grado di identificare. Supponiamo che io voglia diventare davvero bravo a identificare le e-mail generate dall'IA. La prima cosa da fare è chiedere a ChatGPT di scrivere un'e-mail di presentazione a freddo. Un'e-mail di ringraziamento. Un'e-mail di marketing. Ripetete l'operazione alcune volte, modificando il prompt e annotando le somiglianze tra ogni iterazione. Successivamente, provate di nuovo con Claude e Gemini, continuando a cercare degli schemi ricorrenti.

Oggetto: Esplorazione delle opportunità di collaborazione con OpenAI

Gentile [Nome del fondatore],

Spero che questo messaggio ti trovi bene. Mi chiamo [Il tuo nome] e ricopro il ruolo di [La tua qualifica] presso [La tua azienda/organizzazione], dove siamo specializzati in [descrivi brevemente il tuo settore o la tua area di competenza]. Ho seguito con attenzione i progressi rivoluzionari compiuti da OpenAI nel campo dell'intelligenza artificiale e sono davvero colpito dal vostro impegno nello sviluppo etico dell'IA e dall'impatto trasformativo dei vostri progetti.

Le scrivo per valutare eventuali opportunità di collaborazione tra le nostre organizzazioni. Ritengo che l'unione delle competenze di OpenAI nel campo dell'intelligenza artificiale con la nostra esperienza in [il suo settore o tecnologia specifici] possa portare a soluzioni innovative in grado di far progredire ulteriormente il settore e creare un valore aggiunto significativo.

Sarei lieto di poter approfondire l'argomento e valutare come collaborare per raggiungere i nostri obiettivi comuni. Potremmo fissare una breve telefonata o un incontro quando preferisce? Sono flessibile sugli orari e mi adatterò volentieri alle sue esigenze.

Grazie per aver preso in considerazione questa opportunità. Spero vivamente di poter collaborare con voi e di poter contribuire agli entusiasmanti sviluppi in corso presso OpenAI.

Cordiali saluti,

[Il tuo nome completo]

[La tua posizione]

[La tua azienda/organizzazione]

[Informazioni di contatto]

[Profilo LinkedIn o sito web] (facoltativo)

Gioca a giochi competitivi

Quando abbiamo avviato Pangram Labs, abbiamo svolto innumerevoli volte quello che chiamavamo "The Human Baseline". Le regole sono semplici: si sceglie un argomento. Il nostro primo "Human Baseline" riguardava i saggi di ammissione all'università. La persona A procurava cinque saggi di ammissione all'università scritti da esseri umani. Poi, la persona A utilizzava ChatGPT o un altro modello di linguaggio (LLM) per creare cinque saggi scritti dall'IA. Li mescolava e presentava i dieci saggi alla persona B come test, affinché questa classificasse quali fossero stati scritti dall'IA. La persona B può fare il test e spiegare il proprio ragionamento. Questo crea una linea di base per capire quanto siano individuabili questi saggi e aiuta a sviluppare euristiche.

Per andare oltre, la persona B può utilizzare i propri risultati per creare un modello di riferimento umano più complesso, fornendo all'LLM ulteriori input o chiedendogli di evitare le espressioni che lo rendono troppo evidente. Questo scambio di idee può migliorare ulteriormente il tuo intuito e aiutarti a individuare quali indizi dell'IA continuano a ricorrere.

Per avere un esempio di riferimento umano, dai un'occhiata a queste due recensioni. Una proviene da Yelp e l'altra da GPT-4.

Se non fosse chiaro, il primo esempio è stato generato dall'IA, mentre il secondo è opera di un essere umano. Ho specificato sia l'argomento (Textbook Cafe a Brooklyn) che la struttura (un paragrafo), ma lo stile di ChatGPT è talmente marcato che la differenza è comunque evidente. Prova a crearne uno tu stesso e condividilo con un amico!

Utilizza strumenti progettati per il rilevamento dell'IA

Pangram Labs ha dedicato innumerevoli ore all'addestramento di modelli di machine learning che hanno appreso da centinaia di milioni di documenti per distinguere al meglio i contenuti scritti dall'intelligenza artificiale da quelli scritti dall'uomo. Quindi, tanto vale farmi un po' di autopromozione. La nostra dashboard ti permette di incollare del testo o caricare documenti, quindi se sei incerto e vuoi qualcosa di più concreto dell'intuizione a sostegno, questo strumento ti fornirà una classificazione e un punteggio di affidabilità. La dashboard contiene anche un'analisi più approfondita che mostra quali parole o frasi hanno fornito il segnale più significativo nella classificazione. Io uso personalmente il nostro strumento ogni volta che vedo qualcosa su Internet che mi fa scattare un campanello d'allarme, e spero che possa essere utile anche a te.

Domande? Commenti? Hai trovato qualche errore madornale nell'IA e vuoi segnalarlo? Contattami su Twitter/X all'indirizzo @max_spero_.

Vuoi mettere alla prova il tuo intuito? Prova lo strumento di rilevamento dell'IA di Pangram per analizzare qualsiasi testo alla ricerca di contenuti generati dall'intelligenza artificiale.