Ativações de Composição Polinomial: Liberando a Dinâmica de Modelos de Linguagem Grandes

Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models

November 6, 2024

Autores: Zhijian Zhuo, Ya Wang, Yutao Zeng, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Resumo

Os Transformers têm encontrado amplas aplicações em diversos domínios devido às suas poderosas capacidades de ajuste. Este sucesso pode ser parcialmente atribuído à sua não linearidade inerente. Assim, além da função ReLU empregada na arquitetura original do transformer, os pesquisadores têm explorado módulos alternativos como GeLU e SwishGLU para aprimorar a não linearidade e, assim, aumentar a capacidade representacional. Neste artigo, propomos uma nova categoria de ativações de composição polinomial (PolyCom), projetadas para otimizar a dinâmica dos transformers. Teoricamente, fornecemos uma análise matemática abrangente do PolyCom, destacando sua expressividade aprimorada e eficácia em relação a outras funções de ativação. Notavelmente, demonstramos que redes que incorporam o PolyCom alcançam a taxa de aproximação ótima, indicando que as redes PolyCom requerem parâmetros mínimos para aproximar funções suaves gerais em espaços de Sobolev. Realizamos experimentos empíricos nas configurações de pré-treinamento de grandes modelos de linguagem (LLMs), incluindo arquiteturas densas e esparsas. Ao substituir funções de ativação convencionais por PolyCom, permitimos que os LLMs capturem interações de ordem superior nos dados, melhorando assim as métricas de desempenho em termos de precisão e taxas de convergência. Resultados experimentais extensivos demonstram a eficácia do nosso método, mostrando melhorias substanciais em relação a outras funções de ativação. O código está disponível em https://github.com/BryceZhuo/PolyCom.

English

Transformers have found extensive applications across various domains due to the powerful fitting capabilities. This success can be partially attributed to their inherent nonlinearity. Thus, in addition to the ReLU function employed in the original transformer architecture, researchers have explored alternative modules such as GeLU and SwishGLU to enhance nonlinearity and thereby augment representational capacity. In this paper, we propose a novel category of polynomial composition activations (PolyCom), designed to optimize the dynamics of transformers. Theoretically, we provide a comprehensive mathematical analysis of PolyCom, highlighting its enhanced expressivity and efficacy relative to other activation functions. Notably, we demonstrate that networks incorporating PolyCom achieve the optimal approximation rate, indicating that PolyCom networks require minimal parameters to approximate general smooth functions in Sobolev spaces. We conduct empirical experiments on the pre-training configurations of large language models (LLMs), including both dense and sparse architectures. By substituting conventional activation functions with PolyCom, we enable LLMs to capture higher-order interactions within the data, thus improving performance metrics in terms of accuracy and convergence rates. Extensive experimental results demonstrate the effectiveness of our method, showing substantial improvements over other activation functions. Code is available at https://github.com/BryceZhuo/PolyCom.