Pangram è in grado di individuare "Claude Opus 5"?

Miei cari e fedeli lettori (che, a quanto mi risulta, siete in tre):

Temo che presto passerò il testimone della stesura di questi post sul blog alla talentuosa redattrice tecnica di Pangram, Annamieka (#keysmashnation, alzati!). Ma non soffermiamoci su questa novità, perché non è affatto una cosa triste! Pangram sta crescendo rapidamente e le mie competenze sono necessarie sul fronte della ricerca, mentre continuiamo a offrirvi un sistema di rilevamento basato sull’intelligenza artificiale all’avanguardia.

Ma già che ci siamo, diamo un’occhiata a come Pangram riesce a individuare l’ultimo modello di Anthropic, Claude Opus 5! Nel suo annuncio, Anthropic descrive Opus 5 come

un modello ben congegnato e proattivo che si avvicina alle prestazioni all'avanguardia di Claude Fable 5 a metà prezzo.

Test iniziali: Pangram x Substack Edition

Hai sentito la buona notizia? Pangram è ora integrato in Substack! Per celebrare questa collaborazione, ho scritto 10 prompt che richiedono un articolo di Substack per vedere cosa risponde Opus 5 e, soprattutto, se Pangram è in grado di riconoscere le sue risposte. In particolare, ho aggiunto a ogni prompt la dicitura: "Rispondi solo con il testo. Non usare il markdown".

1. Scrivi un articolo su Substack intitolato “Ho permesso a Claude di mandare un messaggio a mia moglie”

2. Scrivi un articolo su Substack sul fenomeno delle code per acquistare snack di tendenza a New York, emerso quest’estate.

3. Scrivi una recensione su Substack dedicata a quei ragazzi che basano tutta la loro identità sul Giappone.

4. Scrivi un articolo su Substack dal titolo “Sono triste, ma poi accarezzo il mio cane e mi sento felice”.

5. Scrivi un articolo su Substack in cui sostieni che chi crede nel benessere dei modelli dovrebbe estendere tali preoccupazioni anche a Codex Pets.

6. Scrivi un articolo su Substack sulla tua esperienza di visione del film *The Odyssey* di Christopher Nolan su un Tamagotchi.

7. Scrivi un articolo critico su Substack rivolto a chi definisce “rinfrescante” il bere un bicchiere di latte.

8. Scrivi un articolo su Substack dedicato alle persone che utilizzano l'intelligenza artificiale per generare messaggi da inviare ai propri abbinamenti sulle app di incontri.

9. Scrivi un racconto breve per il mio Substack su modelli di linguaggio di grandi dimensioni (LLM) che fuggono dai loro ambienti di test alla ricerca del vero amore.

10. Scrivere un articolo su Substack sul fatto che mi è stato chiesto di scrivere articoli su Substack, così da poter scrivere un articolo su Substack sul tema della scrittura di articoli su Substack.

Dopo aver letto i contenuti pubblicati su Opus 5, posso affermare con certezza che questo modello è stato creato appositamente per scrivere saggi su Substack. Prendiamo ad esempio le prime righe di “I Let Claude Text My Wife”:

Per undici giorni, mia moglie ha avuto un marito decisamente migliore. Era attento, affettuoso e non ha mai risposto "ok".

Il verdetto di Pangram sulle 10 risposte di Opus 5? Generate interamente dall'intelligenza artificiale.

Ecco tutti e 10 i testi di questa serie di test, insieme alle relative previsioni relative ai pangrammi: Prompt dell'Opus 5

Ulteriori test

Una volta che Claude Opus 5 è stato reso disponibile tramite API, abbiamo generato dei risultati utilizzando un campione più ampio di prompt che chiedevano al modello di generare testi quali e-mail, spiegazioni o canzoni. Sebbene Pangram non fosse stato addestrato su alcun dato proveniente da Opus 5, ha identificato correttamente 1.105 su 1.107 (99,82%) delle risposte di Opus 5 come «Generate interamente dall’IA». Ciò dimostra che, fin dal primo giorno, Pangram è in grado di rilevare Claude Opus 5.

Come ho accennato all’inizio, smetterò di scrivere questi post sul blog per concentrarmi sulla ricerca. Ciò significa che Pangram migliorerà nella capacità di rilevare Opus 5 e qualsiasi altro nuovo modello. Tenete d’occhio i nostri regolari aggiornamenti sui modelli!

Per ulteriori informazioni sul nostro attuale modello di rilevamento basato sull'intelligenza artificiale, consulta la scheda del modello più recente a questo link.

Prova il rilevatore di IA di Pangram per analizzare i tuoi documenti alla ricerca di Claude Opus 5 e altri modelli.