Il rilevamento basato sull'intelligenza artificiale è in grado di individuare lo stile di scrittura di Claude?

Immagine: Anthropic

A novembre, Anthropic ha rilasciato un aggiornamento per Claude.ai che consente agli utenti di scegliere il tono di voce con cui l'assistente dovrà rispondere. Oltre al tono di voce predefinito, gli utenti possono scegliere da un menu predefinito tra "Conciso", "Esplicativo" e "Formale". È inoltre disponibile una modalità per gli stili di scrittura personalizzati, in cui è possibile inserire alcuni documenti o istruzioni che verranno trasformati nel proprio stile di scrittura.

Le impostazioni predefinite sono piuttosto intuitive. L'opzione "Conciso" di solito risponde con elenchi puntati o liste. L'opzione "Esplicativo" produce risposte più lunghe. L'opzione "Formale" omette la tipica frase di Claude "Ottima domanda" e scrive in modo piuttosto professionale. Secondo la mia esperienza, però, tutte le risposte sembrano comunque provenire da Claude: è come se si facesse una domanda all'assistente e si chiedesse una risposta concisa, esplicativa o formale.

Ma ciò che vogliamo mettere alla prova è il nostro sistema di rilevamento dell'IA. Ho chiesto a ciascuno degli stili di scrittura di Claude di redigere un saggio di 250 parole sulla caduta di Roma. Diamo un'occhiata ai risultati.

Output standard di Claude Risultato conciso di Claude Risultato esplicativo di Claude Output formale di Claude

Tutto questo sembra comunque piuttosto simile al normale stile di scrittura di Claude. Non mi sembra che ci sia molta differenza rispetto al chiedere direttamente nel prompt un risultato "conciso" o "formale".

Vediamo se riusciamo a ottenere risultati migliori utilizzando stili di scrittura personalizzati. L'interfaccia è davvero interessante: in pratica basta incollare del testo e il sistema genera un prompt completo. Ho creato uno stile personalizzato basandomi sui post del mio blog. Claude l'ha chiamato "Tech Storyteller". Ne ho creato un altro utilizzando alcuni post del blog Slate Star Codex e Claude l'ha chiamato "Scholarly Skeptic". Sembra che questa funzione utilizzi un LLM per produrre circa tre frasi di istruzioni per lo stile di scrittura. C'è anche una sezione dedicata agli esempi degli utenti, ma con mia grande sorpresa gli esempi forniti all'LLM sono completamente generati e sembrano piuttosto generici rispetto agli esempi di origine.

Suggerimento per Tech Storyteller Tech Storyteller Claude output Suggerimento per studiosi scettici Risultati della ricerca di Claude, lo scettico accademico

Questi testi sembrano ancora chiaramente scritti da un'intelligenza artificiale e il modello di rilevamento di Pangram continua a individuarli.

Avendo notato che gli esempi generati dall'IA potevano rappresentare un limite, ho modificato manualmente le indicazioni relative allo stile di scrittura per includere invece gli esempi originali: i post del mio blog e quelli di Slate Star Codex.

Aggiornamento sull'output di Claude, il narratore tecnologico Aggiornamento dei risultati di Scholarly Skeptic Claude

Si riconosce ancora chiaramente che si tratta di un testo scritto dall’IA. Era migliore o meno “artificiale”? Non particolarmente, anche se l’eliminazione dell’intestazione dal chiaro stile IA nel “Tech Storyteller” è stato un passo nella giusta direzione. Una cosa che ho notato è che le istruzioni sullo stile di scrittura parlavano di presentare “informazioni complesse” o di “riconoscere la complessità”, il che sembrava tradursi principalmente in un uso più frequente della parola “complesso” da parte dell’IA rispetto agli altri saggi. Non è esattamente lo stile di scrittura che avevamo richiesto.

Un'ultima osservazione: ho utilizzato la dashboard di Pangram per capire quali fossero esattamente gli elementi che tradivano il fatto che i saggi fossero stati scritti da un'intelligenza artificiale. Molte delle frasi utilizzate erano molto più comuni nella scrittura generata dall'intelligenza artificiale rispetto a quella umana.

Pannello di controllo Pangram

Ad esempio, il nostro modello ha rilevato che l'espressione «complesso e sfaccettato» viene utilizzata 700 volte più spesso nei testi generati dall'IA rispetto a quelli scritti da esseri umani. L'espressione «intricata interazione» viene utilizzata 100 volte più spesso. L'espressione «ha svolto un ruolo cruciale» viene utilizzata 70 volte più spesso. Queste espressioni sono un esempio di come potremmo individuare intuitivamente i testi generati dall'IA, ma il modello adotta un approccio olistico, tenendo conto dell'intero contesto del documento.

Tutto sommato, lo stile di scrittura di Claude sembra una funzione utile per chi non vuole aggiungere "senza chiacchiere" a ogni comando, ma non è uno strumento per rendere irriconoscibili i risultati generati dall'IA.

Prova lo strumento di rilevamento basato sull'intelligenza artificiale di Pangram per verificare i risultati generati da Claude e da altri modelli.