Il rilevamento dell'IA è in grado di individuare lo stile di scrittura di Claude?

Immagine: Anthropic

A novembre, Anthropic ha rilasciato un aggiornamento per Claude.ai che consente agli utenti di scegliere il tono di voce con cui l'assistente risponderà. Oltre al tono di voce predefinito, gli utenti possono scegliere da un menu preimpostato tra Conciso, Esplicativo e Formale. È disponibile anche una modalità per stili di scrittura personalizzati in cui è possibile inserire alcuni documenti o istruzioni da trasformare nel proprio stile di scrittura.

Le impostazioni predefinite sono piuttosto intuitive. Concise di solito risponde con elenchi puntati o liste. Explanatory produce risposte più lunghe. Formal omette la firma di Claude "Ottima domanda" e scrive in modo piuttosto professionale. Secondo la mia esperienza, tuttavia, sembrano tutte scritte da Claude: non sono diverse dal porre una domanda all'assistente e chiedere una risposta concisa/esplicativa/formale.

Ma quello che vogliamo mettere alla prova è il nostro sistema di rilevamento dell'intelligenza artificiale. Ho chiesto a ciascuno degli stili di scrittura di Claude di scrivere un saggio di 250 parole sulla caduta di Roma. Diamo un'occhiata ai risultati.

Output standard Claude Output conciso di Claude Output esplicativo di Claude Output formale di Claude

Tutto questo sembra ancora piuttosto simile allo stile di scrittura normale di Claude. Non sembra molto diverso dal chiedere direttamente nel prompt un output "conciso" o "formale".

Vediamo se riusciamo a ottenere risultati migliori utilizzando stili di scrittura personalizzati. L'interfaccia è piuttosto interessante: in pratica basta copiare un testo e il programma genera un prompt completo. Ho creato uno stile personalizzato basato sui post del mio blog. Claude lo ha chiamato "Tech Storyteller". Ne ho creato un altro basato su alcuni post del blog Slate Star Codex e Claude lo ha chiamato "Scholarly Skeptic". Sembra che questa funzione utilizzi un LLM per produrre circa tre frasi di istruzioni per lo stile di scrittura. C'è anche una sezione dedicata agli esempi degli utenti, ma con mia grande sorpresa gli esempi forniti al LLM sono completamente generati e sembrano piuttosto generici rispetto agli esempi di origine.

Prompt per il narratore tecnologico Tech Storyteller Claude output Prompt dello scettico accademico Skeptic Claude output accademico

Questi testi sembrano ancora chiaramente scritti dall'intelligenza artificiale e il modello di rilevamento di Pangram continua a individuarli.

Poiché ho notato che gli esempi generati dall'intelligenza artificiale potevano essere insufficienti, ho modificato manualmente le indicazioni relative allo stile di scrittura per includere invece gli esempi di origine: i post del mio blog e quelli dello Slate Star Codex.

Output aggiornato di Tech Storyteller Claude Aggiornamento dei risultati di Claude, lo scettico accademico

Ancora chiaramente identificabile come testo scritto dall'IA. Era migliore o meno simile all'IA? Non particolarmente, anche se la rimozione dell'intestazione dall'aspetto molto simile all'IA nel Tech Storyteller è stato un passo nella giusta direzione. Una cosa che ho notato è che le istruzioni sullo stile di scrittura parlavano di presentare "informazioni complesse" o "riconoscere la complessità", il che sembrava portare l'IA a usare la parola "complesso" più spesso rispetto agli altri saggi. Non esattamente lo stile di scrittura che avevamo richiesto.

Un'ultima nota: ho utilizzato la dashboard Pangram per esaminare quali elementi specifici dei saggi li rendessero riconoscibili come scritti dall'intelligenza artificiale. Molte delle frasi utilizzate erano molto più comuni nella scrittura generata dall'intelligenza artificiale rispetto alla normale scrittura umana.

Pannello di controllo Pangram

Ad esempio, il nostro modello ha rilevato che l'espressione "complesso e sfaccettato" è utilizzata 700 volte più spesso nella scrittura generata dall'IA rispetto a quella umana. L'espressione "intricata interazione" è utilizzata 100 volte più spesso. L'espressione "ha svolto un ruolo cruciale" è utilizzata 70 volte più spesso. Queste espressioni sono un esempio di come potremmo intuitivamente individuare la scrittura generata dall'IA, ma il modello utilizza un approccio olistico, tenendo conto dell'intero contesto del documento.

Tutto sommato, lo stile di scrittura di Claude sembra una funzione utile per chi non vuole aggiungere "no yapping" a ogni prompt, ma non è uno strumento che rende i risultati dell'IA non rilevabili.