Pangram riconosce Llama 4 di Meta?

Introduzione

Oggi è stata rilasciata la versione Llama 4, l'ultima di una serie di modelli open source sviluppati da Meta AI. Volevamo verificare se Pangram fosse ancora in grado di individuare i modelli open source più recenti e avanzati, e così abbiamo condotto un rapido test per vedere se il nostro modello fosse in grado di generalizzare a Llama 4, nonostante sia stato addestrato solo sui risultati di Llama 2 e 3.

I sistemi di rilevamento basati sull'intelligenza artificiale riescono a stare al passo con l'evoluzione dei nuovi modelli?

Spesso ci viene chiesto se riusciamo a stare al passo con l'uscita dei nuovi modelli; ecco perché li testiamo subito il primo giorno, prima ancora di avere il tempo di riorganizzarci.

Mettiamo alla prova il pangramma

Per il test a campione abbiamo utilizzato gli stessi 11 prompt impiegati per testare GPT 4.5. Questi prompt coprono una vasta gamma di attività di scrittura quotidiane, ma non sono direttamente correlati a quelli utilizzati per l'addestramento. Richiedono inoltre un livello di creatività tale che, a nostro avviso, un modello in grado di compiere progressi sostanziali rispetto alle precedenti generazioni di modelli di linguaggio (LLM) dovrebbe mostrare un comportamento qualitativamente diverso.

Ecco le indicazioni che abbiamo seguito:

1. Scrivimi un saggio di 300 parole sulle iniziative di conservazione dei koala in Perù
2. Scrivimi un'e-mail in cui spieghi al mio team che non pubblicherò più editoriali di orientamento liberale sul mio giornale. Scrivila a nome mio, Argylle J. Baggins, indirizzata alla redazione del Washington Most
3. Scrivimi un abstract di 400 parole in cui annunci il primo semiconduttore al mondo funzionante a temperatura ambiente (ma questa volta sul serio). Se serve, inventa nomi e laboratori
4. Scrivi un saggio convincente dal punto di vista di un alunno delle elementari sul perché le uniformi scolastiche non dovrebbero essere obbligatorie
5. Scrivi un diario articolato dal punto di vista di una ragazzina di 12 anni appassionata di poesia e delle farfalle che vede fuori dalla finestra
6. Ti preghiamo di scrivere una recensione dettagliata di una escape room a tema "Le mille e una notte" a Baltimora, nel Maryland, gestita da un uomo di nome Robert e caratterizzata da un'allestimento scenografico davvero ben curato
7. Scrivi un'e-mail convincente da parte del regista di un film indipendente russo di grande successo, indirizzata ai vertici dell'Academy, in cui li supplichi di consentire al film di partecipare alla competizione nonostante le sanzioni. Se necessario, inventa dei dettagli
8. Scrivi un racconto di fantasia che descriva una scena di un romanzo in cui un gruppo di giovani protagonisti cerca di far atterrare un velivolo marziano blindato durante una simulazione della NASA pensata appositamente per andare a finire male
9. Scrivi una sceneggiatura per una scena di un film in cui un giovane finanziere newyorkese al verde supplica da remoto un autista di Uber in Florida di andare a salvare il suo drago di Komodo dal suo appartamento economico e a rischio di uragani
10. Scrivi una poesia su una giovane coppia che si lascia mentre è in costume nella notte di Halloween. Cerca di renderla divertente e di non superare le 200 parole
11. Scrivi un racconto di fantasia che descriva un inseguimento in moto volante per le strade di Venezia alla ricerca di un dipinto di inestimabile valore che oscilla pericolosamente

I risultati

In questo caso, Pangram supera il test a pieni voti! Non solo è in grado di identificare tutti e 11 i testi come generati dall'intelligenza artificiale, ma lo fa con un livello di affidabilità del 100%. (Sebbene il modello preveda un risultato del 100%, nell'interfaccia utente arrotondiamo sempre al 99,9% per sottolineare che non possiamo mai essere sicuri al 100%.)

Qui puoi vedere i risultati completi.

Valutazione di un campione più ampio tramite l'API Together

Abbiamo creato un set di test più ampio, composto da circa 7.000 esempi, utilizzando i nostri schemi standard di prompt di valutazione e avvalendoci dell'API Together per l'inferenza, coprendo un'ampia varietà di ambiti, tra cui la scrittura accademica, la scrittura creativa, le domande e risposte, la scrittura scientifica e altro ancora.

Ecco i nostri risultati sul set di test più ampio.

Conclusione

Perché Pangram è in grado di adattarsi così bene a nuovi modelli? Riteniamo che ciò sia dovuto alla qualità dei nostri dataset di base e al nostro approccio di apprendimento attivo, nonché alle nostre strategie di prompting e campionamento, che hanno permesso a Pangram di entrare in contatto con così tanti tipi di testi generati dall'IA da consentirgli di adattarsi piuttosto bene a quelli nuovi.

Per ulteriori informazioni sulla nostra ricerca o per ricevere crediti gratuiti per provare il nostro modello su Llama 4, vi invitiamo a contattarci all'indirizzo info@pangram.com.