LLaMA-NAS: Búsqueda Eficiente de Arquitecturas Neuronales para Modelos de Lenguaje a Gran Escala

LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models

May 28, 2024

Autores: Anthony Sarah, Sharath Nittur Sridhar, Maciej Szankin, Sairam Sundaresan

cs.AI

Resumen

Las capacidades de los modelos de lenguaje grandes (LLMs) modernos para resolver tareas de procesamiento de lenguaje natural, razonamiento complejo, análisis de sentimientos y otras han sido extraordinarias, lo que ha impulsado su adopción generalizada. Desafortunadamente, estas capacidades conllevan costos de memoria y computación muy elevados, lo que impide el uso de LLMs en la mayoría de las plataformas de hardware. Para mitigar esto, proponemos un método efectivo para encontrar arquitecturas de red Pareto-óptimas basadas en LLaMA2-7B utilizando NAS de un solo paso. En particular, ajustamos LLaMA2-7B una sola vez y luego aplicamos una búsqueda basada en algoritmos genéticos para encontrar arquitecturas de red más pequeñas y menos complejas computacionalmente. Demostramos que, para ciertas tareas de referencia estándar, la red preentrenada LLaMA2-7B es innecesariamente grande y compleja. Más específicamente, mostramos una reducción de 1.5x en el tamaño del modelo y una aceleración de 1.3x en el rendimiento para ciertas tareas, con una caída insignificante en la precisión. Además de encontrar arquitecturas de red más pequeñas y de mayor rendimiento, nuestro método lo hace de manera más efectiva y eficiente que ciertas técnicas de poda o esparsificación. Finalmente, demostramos cómo la cuantización es complementaria a nuestro método y que el tamaño y la complejidad de las redes que encontramos pueden reducirse aún más mediante la cuantización. Creemos que nuestro trabajo proporciona una forma de crear automáticamente LLMs que pueden usarse en plataformas de hardware menos costosas y más accesibles.

English

The abilities of modern large language models (LLMs) in solving natural language processing, complex reasoning, sentiment analysis and other tasks have been extraordinary which has prompted their extensive adoption. Unfortunately, these abilities come with very high memory and computational costs which precludes the use of LLMs on most hardware platforms. To mitigate this, we propose an effective method of finding Pareto-optimal network architectures based on LLaMA2-7B using one-shot NAS. In particular, we fine-tune LLaMA2-7B only once and then apply genetic algorithm-based search to find smaller, less computationally complex network architectures. We show that, for certain standard benchmark tasks, the pre-trained LLaMA2-7B network is unnecessarily large and complex. More specifically, we demonstrate a 1.5x reduction in model size and 1.3x speedup in throughput for certain tasks with negligible drop in accuracy. In addition to finding smaller, higher-performing network architectures, our method does so more effectively and efficiently than certain pruning or sparsification techniques. Finally, we demonstrate how quantization is complementary to our method and that the size and complexity of the networks we find can be further decreased using quantization. We believe that our work provides a way to automatically create LLMs which can be used on less expensive and more readily available hardware platforms.