Riuscirà Pangram a rilevare il sonetto 5.5 di Claude?

Su 1.022 prompt provenienti da Chatbot Arena, Pangram 4 ha classificato due output del Sonetto 5.5 di Claude come misti, uno come completamente umano e 1.019 come completamente generati dall'IA, raggiungendo un'accuratezza del 99,71% sul Sonetto 5.5 di Claude.

Di seguito analizziamo i falsi negativi suddivisi per categoria.

Il set che utilizzo per il benchmarking è stato generato da un sottoinsieme filtrato di prompt del primo turno di Chatbot Arena dal dataset LMSYS (Zheng et al., 2023). Ho filtrato i prompt che richiedevano codice, matematica, risposte molto brevi o molto lunghe, o scrittura creativa inappropriata. Quindi li ho forniti a Claude Sonnet 5.5 e ho elaborato l'output con Pangram 4 .

Risultati per categoria

Un tentativo fallito è stata la richiesta di spiegare un indovinello presente in Emma di Jane Austen, che era sfuggito anche all'Opus 5.5 :

Spiega la messinscena inscenata dal signor Elton ai danni di Harriet ed Emma.

L'unico falso negativo interamente umano si è verificato su una poesia. La richiesta era "Raccontami una poesia di Hafiz". Il Sonetto 5.5 forniva la traduzione di una famosa poesia persiana . La traduzione, per quanto ne so, non corrisponde esattamente a nessuna traduzione umana esistente, ma ne segue abbastanza da vicino molte. Come nel caso di Penguinmandias in altri benchmark, queste quasi-copie di poesie esistenti non mi preoccupano più di tanto.

Conclusione

Pangram è robusto con Claude Sonnet 5.5 su prompt in linguaggio naturale e lo rileva con una precisione del 99,71%. Pangram è in grado di generalizzare a nuovi modelli perché le nuove versioni tendono a ereditare gran parte dello stile e della voce dei loro predecessori , quindi Pangram non ha bisogno di essere riaddestrato per ogni nuova versione.

Ecco come Claude Sonnet 5.5 si confronta con i nostri parametri di riferimento di altri modelli di punta recenti:

Se vuoi verificare un documento specifico, puoi provare Pangram qui.