LLaMA-NAS: Busca Eficiente de Arquitetura Neural para Modelos de Linguagem de Grande Escala

LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models

May 28, 2024

Autores: Anthony Sarah, Sharath Nittur Sridhar, Maciej Szankin, Sairam Sundaresan

cs.AI

Resumo

As habilidades dos modernos modelos de linguagem de grande escala (LLMs) na resolução de tarefas como processamento de linguagem natural, raciocínio complexo, análise de sentimentos e outras têm sido extraordinárias, o que levou à sua ampla adoção. Infelizmente, essas habilidades vêm com custos muito altos de memória e computação, o que impede o uso de LLMs na maioria das plataformas de hardware. Para mitigar isso, propomos um método eficaz de encontrar arquiteturas de rede Pareto-ótimas baseadas no LLaMA2-7B usando NAS (Neural Architecture Search) de uma única vez. Em particular, ajustamos o LLaMA2-7B apenas uma vez e, em seguida, aplicamos uma busca baseada em algoritmo genético para encontrar arquiteturas de rede menores e menos complexas computacionalmente. Mostramos que, para certas tarefas de benchmark padrão, a rede pré-treinada LLaMA2-7B é desnecessariamente grande e complexa. Mais especificamente, demonstramos uma redução de 1,5x no tamanho do modelo e um aumento de 1,3x na taxa de transferência para certas tarefas, com uma queda insignificante na precisão. Além de encontrar arquiteturas de rede menores e de maior desempenho, nosso método faz isso de forma mais eficaz e eficiente do que certas técnicas de poda ou esparsificação. Por fim, demonstramos como a quantização é complementar ao nosso método e que o tamanho e a complexidade das redes que encontramos podem ser ainda mais reduzidos usando quantização. Acreditamos que nosso trabalho fornece uma maneira de criar automaticamente LLMs que podem ser usados em plataformas de hardware mais baratas e amplamente disponíveis.

English

The abilities of modern large language models (LLMs) in solving natural language processing, complex reasoning, sentiment analysis and other tasks have been extraordinary which has prompted their extensive adoption. Unfortunately, these abilities come with very high memory and computational costs which precludes the use of LLMs on most hardware platforms. To mitigate this, we propose an effective method of finding Pareto-optimal network architectures based on LLaMA2-7B using one-shot NAS. In particular, we fine-tune LLaMA2-7B only once and then apply genetic algorithm-based search to find smaller, less computationally complex network architectures. We show that, for certain standard benchmark tasks, the pre-trained LLaMA2-7B network is unnecessarily large and complex. More specifically, we demonstrate a 1.5x reduction in model size and 1.3x speedup in throughput for certain tasks with negligible drop in accuracy. In addition to finding smaller, higher-performing network architectures, our method does so more effectively and efficiently than certain pruning or sparsification techniques. Finally, we demonstrate how quantization is complementary to our method and that the size and complexity of the networks we find can be further decreased using quantization. We believe that our work provides a way to automatically create LLMs which can be used on less expensive and more readily available hardware platforms.