Leyes de Escalabilidad para Modelos de Lenguaje de Complejidad Lineal

Scaling Laws for Linear Complexity Language Models

June 24, 2024

Autores: Xuyang Shen, Dong Li, Ruitao Leng, Zhen Qin, Weigao Sun, Yiran Zhong

cs.AI

Resumen

El interés en los modelos de complejidad lineal para los modelos de lenguaje grandes está en aumento, aunque su capacidad de escalabilidad sigue siendo incierta. En este estudio, presentamos las leyes de escalabilidad para los modelos de lenguaje de complejidad lineal con el fin de establecer una base para su escalabilidad. Específicamente, examinamos los comportamientos de escalabilidad de tres arquitecturas lineales eficientes. Estas incluyen TNL, un modelo de atención lineal con decaimiento independiente de los datos; HGRN2, una RNN lineal con decaimiento dependiente de los datos; y cosFormer2, un modelo de atención lineal sin decaimiento. También incluimos LLaMA como una arquitectura de referencia para la atención softmax con fines de comparación. Estos modelos se entrenaron con seis variantes, que van desde 70M hasta 7B de parámetros, en un corpus de 300B de tokens, y se evaluaron con un total de 1,376 puntos de control intermedios en diversas tareas posteriores. Estas tareas incluyen la pérdida de validación, el razonamiento de sentido común, y la recuperación y generación de información. El estudio revela que los modelos de lenguaje de complejidad lineal existentes exhiben capacidades de escalabilidad similares a los modelos convencionales basados en transformadores, al mismo tiempo que demuestran una competencia lingüística y retención de conocimientos superiores.

English

The interest in linear complexity models for large language models is on the rise, although their scaling capacity remains uncertain. In this study, we present the scaling laws for linear complexity language models to establish a foundation for their scalability. Specifically, we examine the scaling behaviors of three efficient linear architectures. These include TNL, a linear attention model with data-independent decay; HGRN2, a linear RNN with data-dependent decay; and cosFormer2, a linear attention model without decay. We also include LLaMA as a baseline architecture for softmax attention for comparison. These models were trained with six variants, ranging from 70M to 7B parameters on a 300B-token corpus, and evaluated with a total of 1,376 intermediate checkpoints on various downstream tasks. These tasks include validation loss, commonsense reasoning, and information retrieval and generation. The study reveals that existing linear complexity language models exhibit similar scaling capabilities as conventional transformer-based models while also demonstrating superior linguistic proficiency and knowledge retention.