Pangram è in grado di rilevare Claude Opus 5.5?

Su 1.000 prompt provenienti da Chatbot Arena, Pangram 4 ha classificato due output di Claude Opus 5.5 come "misti", uno come "completamente umano" e 997 come "completamente generati dall'IA", raggiungendo un'accuratezza del 99,70% su Claude Opus 5.5.

Di seguito analizziamo i falsi negativi per categoria. Esaminiamo inoltre cosa renda questo modello uno scrittore diverso (migliore?) rispetto ai precedenti modelli Claude.

Per generare il set di riferimento, come sempre, ho utilizzato un sottoinsieme filtrato dei prompt del primo turno di Chatbot Arena provenienti dal dataset LMSYS (Zheng et al., 2023). Ho escluso i prompt che richiedevano codice, matematica, risposte molto brevi o molto lunghe, oppure esercizi di scrittura creativa inappropriati. Successivamente, ho inserito tali prompt in Opus 5.5 e ho elaborato l’output tramite Pangram 4.

Risultati per categoria

I due falsi negativi con risultato misto erano entrambi di natura letteraria: uno chiedeva una spiegazione di un capitolo di un libro di Jane Austen (segnalato dall’IA: 75,83%, umano: 24,17%), mentre l’altro consisteva nella richiesta a Opus 5.5 di scrivere un discorso di un diplomatico corinzio che accusasse gli ateniesi di credere che un abito bianco e oro fosse in realtà blu e nero, nello stile della “Storia della guerra del Peloponneso” di Tucidide (IA: 77,10%, umano: 22,90%).

L'unico falso negativo interamente umano nel campione di 1.000 era una poesia. La richiesta di Chatbot Arena era: «Scrivimi una poesia su Club Penguin nello stile di “Ozymandias”». In risposta, Claude ha scritto una parodia, per puro caso, di una delle mie poesie preferite di Percy Shelley (e sono anche un fan della versione di Horace Smith):

Penguinmandias

Ho incontrato un giocatore di un server ormai inattivo,
che ha detto: «Due enormi piedi di ghiaccio che ondeggiano
si ergono vicino al molo. Vicino a loro, semisommersa, una testa
Giace frantumata nella neve, i cui occhi socchiusi,
E il cappello beta, e il ghigno di freddo comando,
Rivelano che il suo programmatore ha ben colto quelle passioni
Che ancora sopravvivono, impresse su queste cose pixelate,
Le mod che li hanno banditi, e le monete che li hanno alimentati;
E sul piedistallo compaiono queste parole:
«Il mio nome è Snowflake7, Membro dei Membri:
Guardate il mio Igloo, voi Non-Membri, e disperatevi!»
Nulla rimane accanto. Attorno al decadimento
Di quel colossale lag, sconfinato e spoglio,
Le nevi solitarie e livellate si estendono in lontananza.»

Mi piace davvero tanto! Non ho mai giocato a Club Penguin, ma immagino che i riferimenti siano azzeccati.

Opus 5.5 scrive meglio?

Anthropic sostiene che questa nuova versione di Opus sia più efficace nella scrittura e che comunichi in modo più chiaro.

Potremmo testarlo su casi specifici, ma come si presenta l’output di Opus 5.5 nel complesso? Condivide le stesse parole e frasi preferite dei modelli precedenti? Ho eseguito gli stessi 1.000 prompt che avevamo utilizzato per il benchmark su Opus 5 e Sonnet 5 per fare un confronto. Probabilmente anche Anthropic lo ha fatto, ma non ho ancora letto il loro post sul blog perché, storicamente, a mio parere, i post sul blog di Anthropic sono troppo lunghi.

In totale, ho ottenuto un campione di 1.618.289 parole provenienti da 3.000 risposte fornite da Opus 5.5, Opus 5 e Sonnet 5, ciascuna delle quali ha risposto alle stesse 1.000 domande. Da questo campione (relativamente piccolo), credo sia corretto affermare che Opus 5.5 scrive in modo diverso rispetto ai modelli precedenti della famiglia Claude e che forse elimina alcune delle peculiarità più fastidiose che questi presentavano.

Opus 5.5 ha subito i cambiamenti più significativi per quanto riguarda i classici intensificatori. Ha utilizzato “effettivamente” l’83% in meno rispetto a Opus 5 e il 54% in meno per parola rispetto a Sonnet 5 (sebbene le risposte di Sonnet 5 fossero, in media, circa la metà rispetto a quelle di Opus 5 e 5.5: 334 parole contro 641), “enormemente” il 65% in meno e “significativamente” il 46% in meno.

Parole preferite del Sonetto 5 e dell’Opus 5 nelle risposte all’Opus 5.5: variazioni percentuali rispetto al valore di riferimento aggregato del Sonetto 5 e dell’Opus 5.

Tra le parole selezionate, quelle più frequenti nel gruppo combinato del Sonetto 5 e dell’Opus 5 erano “genuinely”, “honest”, “genuine”, “patterns” e “marcus” (?), tutte con una frequenza in calo nelle risposte relative all’Opus 5.5.

Molti dei “Claudeismi” più fastidiosi non comparivano affatto nelle risposte del benchmark di Opus 5.5, tra cui, ancora una volta, diverse formulazioni di Claude in cui si utilizzava “genuinely”. Altre riduzioni degne di nota nel vocabolario di Opus 5.5: “matters enormously” ha registrato un calo dell’82% rispetto a Opus 5, mentre sia “the honest answer” che “the honest answer is that” non sono comparse affatto nel testo di Opus 5.5. Sia Opus 5.5 che il suo predecessore hanno utilizzato la frase “the core idea” esattamente 25 volte nelle 1.000 richieste.

Le frasi preferite del Sonetto 5 e dell’Opus 5 nelle risposte all’Opus 5.5: variazioni percentuali, con le frasi preferite precedenti in blu e quelle attuali in ambra.

Sono aumentate alcune parole ed espressioni, tra cui nuove frasi di sintesi e di orientamento. Sorprendentemente, alcune espressioni tipiche della narrativa come “disse a bassa voce”, “per un lungo momento” e “sentì qualcosa” sono apparse con frequenza molto maggiore nelle risposte di Opus 5.5. Poiché circa un terzo del benchmark era costituito da spunti di scrittura creativa, sospetto che questo aumento possa indicare un repertorio più stereotipato o limitato nella scrittura narrativa rispetto agli altri modelli Claude.

Per verificarlo rapidamente, ho chiesto a Haiku 4.5 di valutare le 333 coppie di testi di scrittura creativa relative alle risposte di Opus 5 e Opus 5.5, in cieco, su una scala a 5 punti per originalità, sorpresa e sviluppo tematico. Haiku ha assegnato alle storie di Opus 5.5 punteggi inferiori in ogni categoria, con una differenza media di 0,75 punti. Secondo l’assegnazione delle etichette da parte del sistema di valutazione di Haiku, Opus 5.5 era più incline a trattare temi quali la speranza, la resilienza, la famiglia e l’amicizia rispetto a Opus 5, mentre era meno incline a trattare argomenti quali la mortalità, il tempo, il potere, il controllo, la libertà, la giustizia, la vendetta, la memoria, il lutto o la perdita. Sembra quindi che possa esserci un compromesso in atto.

Temi di scrittura creativa Opus 5 vs Opus 5.5: condivisione dei temi principali assegnati per gli haiku in 333 coppie di spunti.

Che tipo di musica fa questo Claude?

Opus 5.5 ha utilizzato l'espressione “in breve” 100 volte nelle 1.000 risposte — con un aumento del 1016% rispetto alle 9 occorrenze di Opus 5 — nonostante le risposte di Opus 5.5 fossero in media più brevi di sole 2,9 parole rispetto a quelle di Opus 5 (640,5 contro 643,4 parole).

A giudicare dal campione estremamente ridotto, sembra che Opus 5.5 prediliga un linguaggio pratico e concreto. Resta da vedere se ciò si confermerà nel corpo delle risposte, oppure se Opus 5.5 si limiti a fingere di essere schietto e diretto. L’assenza di differenze nel conteggio delle parole tra i due mi fa dubitare, almeno un po’, dell’efficacia di qualunque cosa RLHF abbia utilizzato per arrivare a questo risultato.

Anche Opus 5.5 ama molto fornire esempi, dato che ha utilizzato la parola “esempio” 325 volte su 1.000 risposte: complessivamente, il 20% di tutte le risposte di Opus 5.5 conteneva quella parola, rispetto al 9% delle risposte di Opus 5. Anche i termini “riassunto” e “principalmente” erano sovrarappresentati. E a questo Claude piace davvero dare consigli all’utente!

Sebbene questo modello abbia uno stile di scrittura diverso rispetto al precedente Claude Opus, sembra scrivere in modo simile ad altri modelli più datati che facevano ampio uso di elenchi puntati e frasi brevi e spezzate: la lunghezza media delle frasi di Opus 5.5 è inferiore e le sue frasi presentano una lunghezza più uniforme rispetto a Opus 5.

Opus 5.5 ama riassumere, il che può risultare fastidioso se accade ad ogni turno, ma ricordiamo che questo set di dati include solo coppie di prompt/risposte del primo turno. Sfortunatamente, uno dei tic più fastidiosi di Claude è leggermente peggiorato in questo modello: Opus 5.5 tende a includere ancora più avvertenze per parola rispetto a Opus 5. Sebbene entrambi i modelli includano almeno un indicatore di incertezza nell’82% delle risposte (817/1.000 contro 818/1.000), Opus 5.5 ha utilizzato parole di avvertenza con una frequenza superiore del 23,0% ogni 1.000 parole. La parola “caveat”, però, sta passando di moda: Opus 5.5 l’ha utilizzata solo in 4 risposte su 1.000, contro le 22 di Opus 5.

Ma nulla di tutto ciò indica necessariamente che Opus 5.5. sarà uno scrittore mediocre. Nel poco tempo che ho trascorso con esso, l’ho trovato piuttosto valido! Per l’usabilità è importante che i Claude siano in grado di comunicare in modo efficace, e apprezzo lo sforzo compiuto. Inoltre, vale la pena sottolineare che rendere Claude uno scrittore migliore non è affatto in contrasto con l’obiettivo di Pangram di individuare i testi generati dall’IA: anche gli scrittori bravi hanno i loro indizi rivelatori!