Leis de Escalonamento para Modelos de Linguagem de Complexidade Linear

Scaling Laws for Linear Complexity Language Models

June 24, 2024

Autores: Xuyang Shen, Dong Li, Ruitao Leng, Zhen Qin, Weigao Sun, Yiran Zhong

cs.AI

Resumo

O interesse em modelos de complexidade linear para grandes modelos de linguagem está em ascensão, embora sua capacidade de escalabilidade permaneça incerta. Neste estudo, apresentamos as leis de escalabilidade para modelos de linguagem de complexidade linear para estabelecer uma base para sua escalabilidade. Especificamente, examinamos os comportamentos de escalonamento de três arquiteturas lineares eficientes. Estas incluem TNL, um modelo de atenção linear com decaimento independente de dados; HGRN2, um RNN linear com decaimento dependente de dados; e cosFormer2, um modelo de atenção linear sem decaimento. Também incluímos o LLaMA como uma arquitetura de referência para atenção softmax para comparação. Esses modelos foram treinados com seis variantes, variando de 70M a 7B de parâmetros em um corpus de 300B tokens, e avaliados com um total de 1.376 pontos de verificação intermediários em várias tarefas secundárias. Essas tarefas incluem perda de validação, raciocínio de senso comum e recuperação e geração de informações. O estudo revela que os modelos de linguagem de complexidade linear existentes exibem capacidades de escalonamento semelhantes aos modelos baseados em transformadores convencionais, demonstrando também proficiência linguística superior e retenção de conhecimento.

English

The interest in linear complexity models for large language models is on the rise, although their scaling capacity remains uncertain. In this study, we present the scaling laws for linear complexity language models to establish a foundation for their scalability. Specifically, we examine the scaling behaviors of three efficient linear architectures. These include TNL, a linear attention model with data-independent decay; HGRN2, a linear RNN with data-dependent decay; and cosFormer2, a linear attention model without decay. We also include LLaMA as a baseline architecture for softmax attention for comparison. These models were trained with six variants, ranging from 70M to 7B parameters on a 300B-token corpus, and evaluated with a total of 1,376 intermediate checkpoints on various downstream tasks. These tasks include validation loss, commonsense reasoning, and information retrieval and generation. The study reveals that existing linear complexity language models exhibit similar scaling capabilities as conventional transformer-based models while also demonstrating superior linguistic proficiency and knowledge retention.