Skalierung mit LoRA

Foto von Tara Winstead.

Im vergangenen Monat haben wir unseren technischen Bericht veröffentlicht, in dem unser Modell umfassend mit unseren Mitbewerbern sowie einer führenden akademischen Methode verglichen wurde.

Heute geben wir die Veröffentlichung eines weiteren Modells bekannt, das unsere Leistung bei diesem anspruchsvollen Benchmark noch weiter verbessert.

Was ist für diese Verbesserung verantwortlich?

Um das neue Modell zu erstellen, haben wir denselben aktiven Lernansatz verwendet, den wir auch in unserem technischen Bericht „Hard Negative Mining with Synthetic Mirrors“ verwendet haben. Für dieses Release-Update haben wir unser Modell jedoch erheblich skaliert und die Gesamtzahl der Parameter im Modell um eine Größenordnung erhöht. Dazu mussten wir auch die für das Training des neuen Modells erforderlichen Rechenressourcen skalieren und Low-Rank Adaptation (LoRA) implementieren – eine häufig verwendete Technik zur effizienten Feinabstimmung von LLMs. Dieses neue Modell ist auch unsere erste Veröffentlichung eines Modells, das auf den neuen H100-GPUs von NVIDIA trainiert wurde!

Skalierung des Modells ohne Überanpassung

Es hat sich gezeigt, dass kleinere Modelle für DetectGPT besser geeignet sind, um KI-generierte Texte zu erkennen. Wir haben bereits in unserem technischen Bericht die Sättigung von Skalierungsgesetzen erörtert. Zusammenfassend lässt sich sagen, dass das Hinzufügen weiterer Daten das Modell nach Erreichen einer kritischen Datenschwelle (in unserem Fall etwa 40.000 Dokumente) nicht mehr verbessert.

Wenn Sie sich außerdem die Rangliste für andere Textklassifizierungsaufgaben wie MTEB, IMDB-Sentimentanalyse und AGNews ansehen, werden Sie feststellen, dass diese nach wie vor von Modellen wie XLNet, DeBERTa und T5-XXL dominiert wird. Diese Modelle sind zwar bewährte Architekturen, die sich seit Jahren bei einfachen Klassifizierungsaufgaben bewährt haben, aber sie sind bei weitem nicht so groß wie die aktuellen hochmodernen großen Sprachmodelle. Diese BERT-ähnlichen Modelle haben etwa zweihundert Millionen Parameter, während führende Open-Source-LLMs mittlerweile über mehrere zehn Milliarden Parameter verfügen – ein riesiger Unterschied!

Der Grund dafür, dass LLM-Architekturen bei der Textklassifizierung nicht so gut abschneiden, liegt vor allem darin, dass sie leicht überanpassen. Wie können wir das Beste aus beiden Welten erhalten: ein Modell, das viel mehr „Basiswissen“ wie ein LLM hat, aber bei Klassifizierungsaufgaben nicht überanpasst?

LoRA zur Rettung

In unserer neuesten Version nutzen wir eine relativ gängige Technik zur Feinabstimmung großer Sprachmodelle, die als LoRA bekannt ist.

Visualisierung der LoRA-Tensoroperationen aus der Originalveröffentlichung.

Die Grundidee von LoRA besteht darin, dass anstatt das gesamte Modell zu optimieren, was (1) viel Zeit und Speicherplatz erfordert, (2) sehr anfällig für Überanpassung ist und (3) zu einem katastrophalen Verlust der Vorab-Trainingsdaten führen kann, das Basis-LLM beibehalten wird und Adaptermodule als Nebennetzwerke neben den Kern-Aufmerksamkeitsblöcken des LLM trainiert werden. LoRA steht für „Low-Rank Adaptation”, was bedeutet, dass die Adaptermodule sich gut in parametereffiziente Gewichtungsmatrizen zerlegen lassen, wodurch sie sehr schnell trainiert werden können und speichereffizient sind.

Diese Abbildung aus dem LoRA-Papier verdeutlicht das Konzept sehr gut. Das ursprüngliche LLM wird nur durch die blaue W-Matrix dargestellt. Die orangefarbenen Module können trainiert werden, während das blaue Modul aus dem ursprünglichen LLM einfach eingefroren bleibt, während das Adaptermodul lernt, es zu umgehen.

Wir stellen fest, dass LoRA unsere Leistung erheblich verbessert und sowohl die Falsch-Positiv- als auch die Falsch-Negativ-Rate reduziert.

Wir gehen davon aus, dass die Verbesserung größtenteils auf die größere Menge an Vorab-Trainingswissen zurückzuführen ist, das im LLM enthalten ist und das wir dank des LoRA-Adapters ohne Überanpassung nutzen können. Ziemlich cool!

Nächste Schritte

Wir werden im Laufe der Zeit weitere Verbesserungen an der Architektur vornehmen, um mit den besten Deep-Learning-Architekturen auf dem Markt Schritt zu halten. Wir haben auch weitere Verbesserungen an der Architektur und den Daten in Planung, aber zunächst ist es an der Zeit, einen noch anspruchsvolleren Bewertungssatz zu erstellen!

Bleiben Sie dran…

Möchten Sie mit uns in Kontakt treten? Senden Sie uns eine E-Mail an info@pangram.com!