Scalabilità con LoRA

Foto di Tara Winstead.

Il mese scorso abbiamo pubblicato il nostro rapporto tecnico, in cui abbiamo sottoposto il nostro modello a un confronto approfondito con i modelli della concorrenza e con un metodo accademico di riferimento.

Oggi annunciamo il lancio di un altro modello che migliora ulteriormente le nostre prestazioni in questo impegnativo benchmark.

A cosa è dovuto questo miglioramento?

Per realizzare il nuovo modello, abbiamo utilizzato lo stesso approccio di apprendimento attivo impiegato nel nostro articolo tecnico, "Hard Negative Mining with Synthetic Mirrors". Tuttavia, in occasione di questo aggiornamento, abbiamo notevolmente potenziato il nostro modello, aumentando il numero totale dei parametri di un ordine di grandezza. Per farlo, abbiamo dovuto potenziare anche le risorse di calcolo necessarie per addestrare il nuovo modello e implementare il Low-Rank Adaptation (LoRA), una tecnica comunemente utilizzata per ottimizzare in modo efficiente i modelli di linguaggio di grandi dimensioni (LLM). Questo nuovo modello è anche la nostra prima versione di un modello addestrato sulle nuove GPU H100 di NVIDIA!

Estendere il modello senza incorrere nel sovradattamento

È emerso che i modelli più piccoli funzionano meglio con DetectGPT nel rilevare i testi generati dall'IA, e abbiamo già discusso in precedenza della saturazione delle leggi di scalabilità nel nostro rapporto tecnico. Per ricapitolare, abbiamo riscontrato che l'aggiunta di ulteriori dati non migliora il modello una volta superata una soglia critica (nel nostro caso, circa 40.000 documenti).

Inoltre, se si dà un'occhiata alla classifica relativa ad altri compiti di classificazione testuale, come MTEB, l'analisi del sentiment su IMDB e AGNews, si noterà che la classifica è ancora dominata da modelli quali XLNet, DeBERTa e T5-XXL. Sebbene questi modelli rappresentino architetture collaudate che da anni funzionano bene in compiti di classificazione semplici, non si avvicinano affatto alle dimensioni degli attuali modelli linguistici di grandi dimensioni all'avanguardia. Questi modelli in stile BERT hanno circa duecento milioni di parametri, mentre i principali LLM open source hanno ora decine di miliardi di parametri: una differenza enorme!

Il motivo per cui le architetture di tipo LLM non ottengono risultati particolarmente brillanti nella classificazione dei testi è dovuto in gran parte al fatto che tendono facilmente al sovradattamento. Come possiamo ottenere il meglio di entrambi i mondi: un modello che disponga di molte più conoscenze "di base" come un LLM, ma che non soffra di sovradattamento nei compiti di classificazione?

LoRA in soccorso

Nella nostra ultima versione, sfruttiamo una tecnica relativamente diffusa per la messa a punto dei modelli linguistici di grandi dimensioni nota come LoRA.

Visualizzazione delle operazioni sui tensori LoRA tratte dall'articolo originale.

L'idea principale di LoRA è che, anziché eseguire il finetuning dell'intero modello – operazione che (1) richiede molto tempo e memoria, (2) è molto soggetta all'overfitting e (3) può causare una perdita catastrofica dei dati di pre-addestramento – il modello LLM di base viene mantenuto invariato, mentre i moduli adattatori vengono addestrati come reti secondarie parallelamente ai blocchi di attenzione principali dell'LLM. LoRA sta per "Low-Rank Adaptation", il che significa che i moduli adattatori si scompongono facilmente in matrici di pesi efficienti in termini di parametri, rendendoli molto veloci da addestrare ed efficienti in termini di memoria.

Questa figura tratta dall'articolo su LoRA illustra chiaramente il concetto. Il modello di linguaggio di grandi dimensioni (LLM) originale è rappresentato esclusivamente dalla matrice W blu. I moduli arancioni possono essere addestrati, mentre il modulo blu del modello LLM originale viene semplicemente "congelato", mentre il modulo adattatore impara a aggirarlo.

Abbiamo riscontrato che LoRA migliora notevolmente le nostre prestazioni, riducendo sia il tasso di falsi positivi che quello di falsi negativi.

La nostra ipotesi è che il miglioramento sia in gran parte dovuto alla maggiore quantità di conoscenze acquisite durante la fase di pre-addestramento contenute nel modello LLM, che siamo in grado di sfruttare senza incorrere nel sovradattamento grazie all'approccio dell'adattatore LoRA. Davvero interessante!

Prossimi passi

Continueremo ad apportare miglioramenti all'architettura nel corso del tempo per rimanere al passo con le migliori architetture di deep learning disponibili sul mercato. Abbiamo in programma anche ulteriori miglioramenti a livello di architettura e dati, ma prima è il momento di creare un set di valutazione ancora più impegnativo!

Restate sintonizzati…

Vuoi contattarci? Scrivici all'indirizzo info@pangram.com!