Законы масштабирования для языковых моделей с линейной сложностью

Scaling Laws for Linear Complexity Language Models

June 24, 2024

Авторы: Xuyang Shen, Dong Li, Ruitao Leng, Zhen Qin, Weigao Sun, Yiran Zhong

cs.AI

Аннотация

Интерес к моделям с линейной сложностью для больших языковых моделей растет, хотя их способность к масштабированию остается неопределенной. В данном исследовании мы представляем законы масштабирования для языковых моделей с линейной сложностью, чтобы установить основу для их масштабируемости. Конкретно, мы изучаем поведение масштабирования трех эффективных линейных архитектур. Среди них TNL, линейная модель внимания с декрементом, не зависящим от данных; HGRN2, линейная RNN с декрементом, зависящим от данных; и cosFormer2, линейная модель внимания без декремента. Мы также включаем LLaMA в качестве базовой архитектуры для мягкого внимания softmax для сравнения. Эти модели обучались шестью вариантами, варьирующимися от 70 миллионов до 7 миллиардов параметров на корпусе из 300 миллиардов токенов и оценивались с общим числом 1,376 промежуточных контрольных точек на различных задачах. Эти задачи включают потери валидации, рассуждения на здравый смысл и информационный поиск и генерацию. Исследование показывает, что существующие языковые модели с линейной сложностью обладают аналогичными возможностями масштабирования, как и традиционные модели на основе трансформеров, продемонстрировав при этом более высокую лингвистическую компетентность и удержание знаний.

English

The interest in linear complexity models for large language models is on the rise, although their scaling capacity remains uncertain. In this study, we present the scaling laws for linear complexity language models to establish a foundation for their scalability. Specifically, we examine the scaling behaviors of three efficient linear architectures. These include TNL, a linear attention model with data-independent decay; HGRN2, a linear RNN with data-dependent decay; and cosFormer2, a linear attention model without decay. We also include LLaMA as a baseline architecture for softmax attention for comparison. These models were trained with six variants, ranging from 70M to 7B parameters on a 300B-token corpus, and evaluated with a total of 1,376 intermediate checkpoints on various downstream tasks. These tasks include validation loss, commonsense reasoning, and information retrieval and generation. The study reveals that existing linear complexity language models exhibit similar scaling capabilities as conventional transformer-based models while also demonstrating superior linguistic proficiency and knowledge retention.