Activaciones de Composición Polinomial: Liberando la Dinámica de Modelos de Lenguaje Grandes

Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models

November 6, 2024

Autores: Zhijian Zhuo, Ya Wang, Yutao Zeng, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Resumen

Los Transformers han encontrado amplias aplicaciones en diversos dominios debido a sus potentes capacidades de ajuste. Este éxito puede atribuirse parcialmente a su inherente no linealidad. Por lo tanto, además de la función ReLU empleada en la arquitectura original del transformer, los investigadores han explorado módulos alternativos como GeLU y SwishGLU para mejorar la no linealidad y, por ende, aumentar la capacidad representativa. En este artículo, proponemos una nueva categoría de activaciones de composición polinomial (PolyCom), diseñadas para optimizar la dinámica de los transformers. Teóricamente, proporcionamos un análisis matemático exhaustivo de PolyCom, resaltando su expresividad y eficacia mejoradas en comparación con otras funciones de activación. Destacadamente, demostramos que las redes que incorporan PolyCom logran la tasa de aproximación óptima, lo que indica que las redes PolyCom requieren parámetros mínimos para aproximar funciones suaves generales en espacios de Sobolev. Realizamos experimentos empíricos en las configuraciones de pre-entrenamiento de grandes modelos de lenguaje (LLMs), incluyendo arquitecturas densas y dispersas. Al sustituir las funciones de activación convencionales por PolyCom, permitimos que los LLMs capturen interacciones de orden superior dentro de los datos, mejorando así las métricas de rendimiento en términos de precisión y tasas de convergencia. Los extensos resultados experimentales demuestran la efectividad de nuestro método, mostrando mejoras sustanciales sobre otras funciones de activación. El código está disponible en https://github.com/BryceZhuo/PolyCom.

English

Transformers have found extensive applications across various domains due to the powerful fitting capabilities. This success can be partially attributed to their inherent nonlinearity. Thus, in addition to the ReLU function employed in the original transformer architecture, researchers have explored alternative modules such as GeLU and SwishGLU to enhance nonlinearity and thereby augment representational capacity. In this paper, we propose a novel category of polynomial composition activations (PolyCom), designed to optimize the dynamics of transformers. Theoretically, we provide a comprehensive mathematical analysis of PolyCom, highlighting its enhanced expressivity and efficacy relative to other activation functions. Notably, we demonstrate that networks incorporating PolyCom achieve the optimal approximation rate, indicating that PolyCom networks require minimal parameters to approximate general smooth functions in Sobolev spaces. We conduct empirical experiments on the pre-training configurations of large language models (LLMs), including both dense and sparse architectures. By substituting conventional activation functions with PolyCom, we enable LLMs to capture higher-order interactions within the data, thus improving performance metrics in terms of accuracy and convergence rates. Extensive experimental results demonstrate the effectiveness of our method, showing substantial improvements over other activation functions. Code is available at https://github.com/BryceZhuo/PolyCom.