Come individuare i testi scritti dall'intelligenza artificiale

ChatGPT scrive 2000 parole di spazzatura in pochi secondi.

ChatGPT e altri modelli linguistici di grandi dimensioni (LLM), comunemente denominati collettivamente "AI", sono diventati strumenti sempre più popolari. Il loro utilizzo più comune è come assistente, dove un utente può chattare direttamente con il modello linguistico. Tuttavia, gli LLM sono sempre più utilizzati per creare slop, un termine che indica contenuti AI indesiderati o generati in modo approssimativo. Un esempio di slop AI è un post di blog scritto interamente da ChatGPT e pubblicato su Internet allo scopo di aumentare il traffico di ricerca. Un altro esempio di slop AI è un'azienda che cerca di aumentare le proprie valutazioni utilizzando l'AI per scrivere diverse recensioni lunghe e entusiastiche.

Pangram Labs ha addestrato un modello di machine learning ad alta precisione per classificare i testi generati dall'intelligenza artificiale. Al termine dell'addestramento, il modello ha esaminato centinaia di milioni di esempi di testi scritti da esseri umani e generati dall'intelligenza artificiale. Questo post ti aiuterà a sviluppare il tuo intuito per individuare i testi generati dall'intelligenza artificiale, idealmente con un numero inferiore di esempi.

Ho parlato con educatori, consulenti per l'ammissione e editori che nell'ultimo anno sono stati costretti ad apprendere questa competenza a causa del massiccio aumento dell'uso dell'IA. Questo articolo è una combinazione delle informazioni che ho appreso da loro e delle tecniche che utilizziamo internamente a Pangram per mettere al passo i nuovi assunti. Dopotutto, non è possibile addestrare un buon modello di machine learning se non si ha familiarità con l'attività stessa.

TL;DR

• Cerca frasi comuni relative all'intelligenza artificiale.
• Chiedi a ChatGPT di generare più copie del tipo di documento che stai cercando di individuare e cerca le somiglianze.
• Prova a rendere la scrittura AI impercettibile e cerca ciò che risalta.
• Utilizza un correttore di scrittura basato sull'intelligenza artificiale per affinare il tuo intuito.

Componenti della scrittura

Argomento

In genere, l'IA non può scegliere l'argomento da trattare, ma riceve l'indicazione di scrivere su qualcosa di specifico. Ciononostante, l'IA mostrerà una certa tendenza verso gli argomenti secondari che sceglie autonomamente. Ad esempio, se chiedo a ChatGPT di scrivermi un saggio sul simbolismo in Moby Dick, probabilmente sceglierà la stessa serie di argomenti più ovvi. Tuttavia, qualsiasi studente potrebbe chiedere a ChatGPT di scrivere specificamente su una certa forma di simbolismo nel libro, e ChatGPT sarà in grado di farlo. Per questo motivo, non prendo troppo in considerazione l'argomento quando valuto se un testo è stato scritto dall'IA o meno.

Struttura

Quando viene chiesto di scrivere documenti completi, l'IA generalmente ha una struttura predefinita a cui ricorre. Se gli chiedi di scrivere un post per un blog, inizierà con un'introduzione, 3-4 paragrafi, alcuni punti elenco e una conclusione che riassume il post. Allo stesso modo, se voglio che l'IA mi scriva una recensione di un ristorante, spesso inizierà dicendo "Recentemente ho avuto il piacere di cenare al ____", parlerà del cibo, dell'atmosfera e del servizio e concluderà con un entusiastico "Consiglio vivamente". Sebbene la struttura predefinita possa anche essere modificata ("Scrivimi un post sul blog di 20 paragrafi", "Mantieni la recensione breve, non menzionare il nome del ristorante"), ciò richiede uno sforzo che molti prompters non sono disposti a compiere. Quando la scrittura è strutturata in modo simile ad altri scritti dell'IA, questo è un forte indizio iniziale per approfondire.

Stile

Nel poker, il termine "tell" si riferisce a un indizio che qualcuno dà inconsapevolmente quando bluffa. Ad esempio, quando qualcuno è nervoso può giocherellare con gli occhiali, rivelando informazioni sulle proprie puntate. Allo stesso modo, in Pangram ci riferiamo a determinate parole o frasi come "AI tells": si tratta di parole o frasi che ChatGPT o altri modelli linguistici prediligono in modo sproporzionato e che, una volta che si inizia a notarle, sono un segnale molto forte dell'origine AI.

"Delve" è un esempio estremo di indicatore di IA perché ChatGPT lo usa molto più spesso di quanto non farebbe nel normale inglese americano.

Ho anche notato che "I recently had the pleasure" (Ho recentemente avuto il piacere) è una frase comune nelle recensioni dei ristoranti e ChatGPT riesce sempre a inserire la parola "keen" (entusiasta) se gli si chiede di scrivere una lettera di presentazione. Anche con prompt molto specifici, gli LLM sono fortemente influenzati dalle tendenze stilistiche interne. Per questo motivo, lo stile è un segnale importante su cui faccio molto affidamento.

Ecco un elenco di frasi comuni relative all'intelligenza artificiale da utilizzare come punto di partenza. (Fonti: reddit, aiphrasefinder.com)

• "È importante notare che"
• "Approfondire"
• "Arazzo"
• "Vivace"
• "Vivace"
• "In sintesi" o "In conclusione"
• "Ricordati che..."
• "Immergiti in"
• "Navigare", ovvero "Navigare nel panorama" "Navigare nelle complessità di"
• "Paesaggio", ovvero "Il paesaggio di...", in particolare "paesaggio in continua evoluzione"
• "Testamento", ovvero "testimonianza di..."
• "Nel mondo di"
• "Regno"
• "Imbarcarsi"
• "Sinfonia"
• "Abbraccia"
• "Che tu sia X o Y"
• "Quando si tratta di"

Tecniche per migliorare il tuo intuito

Le frasi sono un buon punto di partenza, ma spesso l'IA genera testi che sono chiaramente scritti dall'IA ma che non utilizzano nessuna di queste frasi. Per migliorare questa abilità, dovremo dedicare un po' di tempo allo studio della scrittura dell'IA.

Studio della scrittura AI

Per alcuni può essere sgradevole, per altri eccitante, ma se volete identificare l'IA dovete sapere come si presenta la scrittura generata dall'IA. È utile avere un tipo particolare di testo che volete essere in grado di identificare. Supponiamo che io voglia diventare davvero bravo a identificare le e-mail generate dall'intelligenza artificiale. La prima cosa da fare è chiedere a ChatGPT di scrivere un'e-mail di presentazione a freddo. Un'e-mail di ringraziamento. Un'e-mail di marketing. Ripetete l'operazione alcune volte, cambiando il prompt e annotando le somiglianze tra ogni iterazione. Successivamente, riprovate con Claude e Gemini, continuando a cercare dei modelli.

Oggetto: Esplorazione delle opportunità di collaborazione con OpenAI

Gentile [Nome del fondatore],

Spero che questo messaggio ti trovi bene. Mi chiamo [Il tuo nome] e sono il [Il tuo titolo] presso [La tua azienda/organizzazione], dove siamo specializzati in [descrivi brevemente il tuo campo o la tua esperienza]. Ho seguito i progressi rivoluzionari di OpenAI nel campo dell'intelligenza artificiale e sono davvero impressionato dal vostro impegno nello sviluppo etico dell'IA e dall'impatto trasformativo dei vostri progetti.

Vi contatto per valutare potenziali opportunità di collaborazione tra le nostre organizzazioni. Ritengo che combinare le capacità di OpenAI nel campo dell'intelligenza artificiale con la nostra esperienza in [il vostro settore o tecnologia specifici] possa portare a soluzioni innovative che consentano di compiere ulteriori progressi in questo campo e creare un valore sostanziale.

Sarei lieto di poter approfondire l'argomento e valutare come collaborare per raggiungere i nostri obiettivi comuni. Potremmo fissare una breve telefonata o un incontro quando preferisci? Sono flessibile sugli orari e mi adatterò volentieri ai tuoi impegni.

Grazie per aver preso in considerazione questa opportunità. Attendo con interesse la possibilità di lavorare insieme e contribuire agli entusiasmanti sviluppi di OpenAI.

Cordiali saluti,

[Il tuo nome completo]

[La tua posizione]

[La tua azienda/organizzazione]

[Informazioni di contatto]

[Profilo LinkedIn o sito web] (facoltativo)

Gioca a giochi competitivi

Quando abbiamo avviato Pangram Labs, abbiamo svolto un sacco di lavoro su quello che abbiamo chiamato "The Human Baseline" (la linea di base umana). Le regole sono semplici. Si sceglie un argomento. La nostra prima linea di base umana era costituita dai saggi di ammissione. La persona A procura cinque saggi di ammissione all'università scritti da esseri umani. Quindi, la persona A utilizza ChatGPT o un altro LLM per creare cinque saggi scritti dall'IA. Li mescola e presenta i dieci saggi come test alla persona B affinché classifichi quali sono quelli scritti dall'IA. La persona B può sostenere il test e fornire le proprie motivazioni. Questo crea una linea di base per la rilevabilità di questi saggi e aiuta a sviluppare euristiche.

Per fare un ulteriore passo avanti, la persona B può utilizzare i propri risultati per creare una linea di base umana più complessa, fornendo all'LLM maggiori input o chiedendogli di evitare le frasi che rendono evidente la sua natura artificiale. Questi scambi possono migliorare ulteriormente la tua intuizione e aiutarti a capire quali messaggi dell'IA continuano a ripetersi.

Per un esempio di riferimento umano, dai un'occhiata a queste due recensioni. Una è tratta da Yelp e l'altra da GPT-4.

Se non è evidente, il primo esempio è AI e il secondo è umano. Ho specificato sia l'argomento (Textbook Cafe a Brooklyn) che la struttura (un paragrafo), ma lo stile di ChatGPT è così forte che risulta comunque evidente. Provate a crearne uno vostro e condividetelo con un amico!

Utilizza strumenti creati per il rilevamento dell'IA

Pangram Labs ha dedicato innumerevoli ore all'addestramento di modelli di apprendimento automatico che hanno imparato da centinaia di milioni di documenti a distinguere al meglio i contenuti scritti dall'intelligenza artificiale da quelli scritti dall'uomo. Quindi potrei anche autopromuovermi un po'. La nostra dashboard consente di incollare del testo o caricare documenti, quindi se non siete sicuri e volete qualcosa di più concreto dell'intuizione a sostegno della vostra opinione, questo strumento vi fornirà una classificazione e un punteggio di affidabilità. La dashboard contiene anche un'analisi più approfondita che mostra quali parole o frasi hanno fornito il segnale più significativo nella classificazione. Personalmente utilizzo il nostro strumento ogni volta che vedo qualcosa su Internet che mi mette in allarme, e spero che possa essere utile anche a voi.

Domande? Commenti? Hai trovato qualche errore grave nell'IA e vuoi condividerlo? Contattaci su Twitter/X all'indirizzo @max_spero_.