Skalierung mit LoRA

Foto: Tara Winstead.

Im vergangenen Monat haben wir unseren technischen Bericht veröffentlicht, in dem wir unser Modell umfassend mit dem unserer Mitbewerber sowie mit einer führenden wissenschaftlichen Methode verglichen haben.

Heute stellen wir ein weiteres Modell vor, das unsere Leistung bei diesem anspruchsvollen Benchmark noch weiter verbessert.

Worauf ist diese Verbesserung zurückzuführen?

Zur Erstellung des neuen Modells haben wir denselben Active-Learning-Ansatz verwendet, den wir bereits in unserem technischen Bericht „Hard Negative Mining with Synthetic Mirrors“ eingesetzt haben. Für dieses Release-Update haben wir unser Modell jedoch erheblich erweitert und die Gesamtzahl der Parameter im Modell um eine Größenordnung erhöht. Um dies zu erreichen, mussten wir auch die für das Training des neuen Modells erforderlichen Rechenressourcen erweitern und Low-Rank Adaptation (LoRA) implementieren – eine häufig verwendete Technik zur effizienten Feinabstimmung von LLMs. Dieses neue Modell ist zudem unsere erste Veröffentlichung eines Modells, das auf den neuen H100-GPUs von NVIDIA trainiert wurde!

Skalierung des Modells ohne Überanpassung

Es hat sich gezeigt, dass kleinere Modelle bei DetectGPT besser geeignet sind, um KI-generierten Text zu erkennen, und wir haben die Sättigung von Skalierungsgesetzen bereits in unserem technischen Bericht erörtert. Zusammenfassend lässt sich sagen, dass wir festgestellt haben, dass das Hinzufügen weiterer Daten das Modell ab einer kritischen Datenmenge (in unserem Fall etwa 40.000 Dokumente) nicht mehr verbessert.

Wenn man sich zudem die Rangliste für andere Textklassifizierungsaufgaben wie MTEB, die IMDB-Stimmungsanalyse und AGNews ansieht, wird deutlich, dass diese nach wie vor von Modellen wie XLNet, DeBERTa und T5-XXL dominiert wird. Zwar handelt es sich bei diesen Modellen um bewährte Architekturen, die sich seit Jahren bei einfachen Klassifizierungsaufgaben bewährt haben, doch erreichen sie bei weitem nicht die Größe der aktuellen State-of-the-Art-Großsprachenmodelle. Diese Modelle im BERT-Stil verfügen über etwa ein paar hundert Millionen Parameter, während führende Open-Source-LLMs mittlerweile mehrere zehn Milliarden Parameter haben – ein riesiger Unterschied!

Der Grund dafür, dass Architekturen im LLM-Stil bei der Textklassifizierung nicht besonders gut abschneiden, liegt vor allem darin, dass sie leicht überanpassen. Wie können wir das Beste aus beiden Welten vereinen: ein Modell, das über weitaus mehr „Grundwissen“ wie ein LLM verfügt, sich aber bei Klassifizierungsaufgaben nicht überanpasst?

LoRA kommt zur Rettung

In unserer neuesten Version nutzen wir eine relativ gängige Technik zur Feinabstimmung großer Sprachmodelle, die als LoRA bekannt ist.

Visualisierung der LoRA-Tensoroperationen aus der Originalveröffentlichung.

Der Kerngedanke von LoRA besteht darin, dass statt das gesamte Modell zu feintunen – was (1) viel Zeit und Speicherplatz beansprucht, (2) sehr anfällig für Überanpassung ist und (3) zu einem katastrophalen Vergessen der Vortrainingsdaten führen kann –, das Basis-LLM unverändert beibehalten wird und Adaptermodule als Nebennetzwerke parallel zu den zentralen Aufmerksamkeitsblöcken des LLM trainiert werden. LoRA steht für „Low-Rank Adaptation“, was bedeutet, dass sich die Adaptermodule gut in parametereffiziente Gewichtsmatrizen zerlegen lassen – wodurch sie sehr schnell trainierbar und speichereffizient sind.

Diese Abbildung aus dem LoRA-Artikel veranschaulicht das Konzept sehr gut. Das ursprüngliche LLM wird lediglich durch die blaue W-Matrix dargestellt. Die orangefarbenen Module dürfen trainiert werden, während das blaue Modul des ursprünglichen LLM einfach eingefroren bleibt, während das Adaptermodul lernt, es zu umgehen.

Wir stellen fest, dass LoRA unsere Leistung erheblich verbessert und sowohl die Falsch-Positiv- als auch die Falsch-Negativ-Rate senkt.

Wir gehen davon aus, dass die Verbesserung größtenteils auf den größeren Vorab-Wissensbestand des LLM zurückzuführen ist, den wir mithilfe des LoRA-Adapters nutzen können, ohne dass es zu einem Überanpassung kommt. Ziemlich cool!

Nächste Schritte

Wir werden im Laufe der Zeit weitere Verbesserungen an der Architektur vornehmen, um mit den besten Deep-Learning-Architekturen auf dem Markt Schritt zu halten. Außerdem haben wir weitere Verbesserungen an der Architektur und den Daten in Planung, doch zunächst ist es an der Zeit, einen noch anspruchsvolleren Bewertungsdatensatz zu erstellen!

Bleibt dran…

Möchten Sie mit uns Kontakt aufnehmen? Schreiben Sie uns eine E-Mail an info@pangram.com!