Skalierungsgesetze für Sprachmodelle mit linearer Komplexität

Scaling Laws for Linear Complexity Language Models

June 24, 2024

Autoren: Xuyang Shen, Dong Li, Ruitao Leng, Zhen Qin, Weigao Sun, Yiran Zhong

cs.AI

Zusammenfassung

Das Interesse an linearen Komplexitätsmodellen für große Sprachmodelle nimmt zu, obwohl ihre Skalierbarkeit unsicher bleibt. In dieser Studie präsentieren wir die Skalierungsgesetze für lineare Komplexitäts-Sprachmodelle, um eine Grundlage für ihre Skalierbarkeit zu schaffen. Speziell untersuchen wir das Skalierungsverhalten von drei effizienten linearen Architekturen. Diese umfassen TNL, ein lineares Aufmerksamkeitsmodell mit datenunabhängigem Abbau; HGRN2, ein lineares RNN mit datenabhängigem Abbau; und cosFormer2, ein lineares Aufmerksamkeitsmodell ohne Abbau. Wir beziehen auch LLaMA als Basismodell für Softmax-Aufmerksamkeit für Vergleiche mit ein. Diese Modelle wurden mit sechs Varianten trainiert, die von 70M bis 7B Parametern auf einem 300B-Token-Korpus reichen, und mit insgesamt 1.376 Zwischenprüfpunkten auf verschiedenen nachgelagerten Aufgaben evaluiert. Diese Aufgaben umfassen Validierungsverlust, gesunden Menschenverstand, sowie Informationsabruf und -generierung. Die Studie zeigt, dass bestehende lineare Komplexitäts-Sprachmodelle ähnliche Skalierbarkeitsfähigkeiten wie konventionelle Transformer-basierte Modelle aufweisen, während sie auch überlegene sprachliche Kompetenz und Wissensbewahrung demonstrieren.

English

The interest in linear complexity models for large language models is on the rise, although their scaling capacity remains uncertain. In this study, we present the scaling laws for linear complexity language models to establish a foundation for their scalability. Specifically, we examine the scaling behaviors of three efficient linear architectures. These include TNL, a linear attention model with data-independent decay; HGRN2, a linear RNN with data-dependent decay; and cosFormer2, a linear attention model without decay. We also include LLaMA as a baseline architecture for softmax attention for comparison. These models were trained with six variants, ranging from 70M to 7B parameters on a 300B-token corpus, and evaluated with a total of 1,376 intermediate checkpoints on various downstream tasks. These tasks include validation loss, commonsense reasoning, and information retrieval and generation. The study reveals that existing linear complexity language models exhibit similar scaling capabilities as conventional transformer-based models while also demonstrating superior linguistic proficiency and knowledge retention.