Hiena Catadora: Destilando Transformers em Modelos de Convolução Longa

Scavenging Hyena: Distilling Transformers into Long Convolution Models

January 31, 2024

Autores: Tokiniaina Raharison Ralambomihanta, Shahrad Mohammadzadeh, Mohammad Sami Nur Islam, Wassim Jabbour, Laurence Liang

cs.AI

Resumo

A rápida evolução dos Modelos de Linguagem de Grande Escala (LLMs), exemplificada por arquiteturas como o GPT-4, transformou o cenário do processamento de linguagem natural. Este artigo apresenta uma abordagem pioneira para lidar com as preocupações de eficiência associadas ao pré-treinamento de LLMs, propondo o uso de destilação de conhecimento para transferência entre arquiteturas. Aproveitando insights do eficiente mecanismo Hyena, nosso método substitui as cabeças de atenção em modelos transformadores pelo Hyena, oferecendo uma alternativa econômica ao pré-treinamento tradicional, ao mesmo tempo em que enfrenta o desafio de processar informações contextuais longas, inerentes aos mecanismos de atenção quadrática. Diferentemente dos métodos convencionais focados em compressão, nossa técnica não apenas melhora a velocidade de inferência, mas também supera o pré-treinamento em termos de precisão e eficiência. Na era dos LLMs em evolução, nosso trabalho contribui para a busca de soluções de IA sustentáveis, equilibrando poder computacional e impacto ambiental.

English

The rapid evolution of Large Language Models (LLMs), epitomized by architectures like GPT-4, has reshaped the landscape of natural language processing. This paper introduces a pioneering approach to address the efficiency concerns associated with LLM pre-training, proposing the use of knowledge distillation for cross-architecture transfer. Leveraging insights from the efficient Hyena mechanism, our method replaces attention heads in transformer models by Hyena, offering a cost-effective alternative to traditional pre-training while confronting the challenge of processing long contextual information, inherent in quadratic attention mechanisms. Unlike conventional compression-focused methods, our technique not only enhances inference speed but also surpasses pre-training in terms of both accuracy and efficiency. In the era of evolving LLMs, our work contributes to the pursuit of sustainable AI solutions, striking a balance between computational power and environmental impact.