Megalodon: Pré-treinamento e Inferência Eficiente de Modelos de Linguagem de Grande Escala com Comprimento de Contexto Ilimitado
Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length
April 12, 2024
Autores: Xuezhe Ma, Xiaomeng Yang, Wenhan Xiong, Beidi Chen, Lili Yu, Hao Zhang, Jonathan May, Luke Zettlemoyer, Omer Levy, Chunting Zhou
cs.AI
Resumo
A complexidade quadrática e a fraca extrapolação de comprimento dos Transformadores limitam sua capacidade de escalar para sequências longas, e embora soluções sub-quadráticas, como atenção linear e modelos de espaço de estados, existam, elas empiricamente apresentam desempenho inferior aos Transformadores em eficiência de pré-treinamento e precisão em tarefas subsequentes. Apresentamos o Megalodon, uma arquitetura neural para modelagem eficiente de sequências com comprimento de contexto ilimitado. O Megalodon herda a arquitetura do Mega (média móvel exponencial com atenção com portas) e introduz ainda vários componentes técnicos para melhorar sua capacidade e estabilidade, incluindo média móvel exponencial complexa (CEMA), camada de normalização de timestep, mecanismo de atenção normalizada e pré-norma com configuração residual de dois saltos. Em uma comparação controlada direta com o Llama2, o Megalodon alcança melhor eficiência do que o Transformer na escala de 7 bilhões de parâmetros e 2 trilhões de tokens de treinamento. O Megalodon atinge uma perda de treinamento de 1,70, posicionando-se no meio do caminho entre o Llama2-7B (1,75) e o 13B (1,67). Código: https://github.com/XuezheMax/megalodon
English
The quadratic complexity and weak length extrapolation of Transformers limits
their ability to scale to long sequences, and while sub-quadratic solutions
like linear attention and state space models exist, they empirically
underperform Transformers in pretraining efficiency and downstream task
accuracy. We introduce Megalodon, a neural architecture for efficient sequence
modeling with unlimited context length. Megalodon inherits the architecture of
Mega (exponential moving average with gated attention), and further introduces
multiple technical components to improve its capability and stability,
including complex exponential moving average (CEMA), timestep normalization
layer, normalized attention mechanism and pre-norm with two-hop residual
configuration. In a controlled head-to-head comparison with Llama2, Megalodon
achieves better efficiency than Transformer in the scale of 7 billion
parameters and 2 trillion training tokens. Megalodon reaches a training loss of
1.70, landing mid-way between Llama2-7B (1.75) and 13B (1.67). Code:
https://github.com/XuezheMax/megalodon