LLaMA Reducido: Una Poda Simple de Profundidad para Modelos de Lenguaje de Gran Escala

Shortened LLaMA: A Simple Depth Pruning for Large Language Models

February 5, 2024

Autores: Bo-Kyeong Kim, Geonmin Kim, Tae-Ho Kim, Thibault Castells, Shinkook Choi, Junho Shin, Hyoung-Kyu Song

cs.AI

Resumen

La poda estructurada de los modernos modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) ha surgido como una forma de reducir sus altas necesidades computacionales. La poda en anchura disminuye el tamaño de las matrices de pesos de proyección (por ejemplo, eliminando cabezas de atención) mientras se mantiene el número de capas. En contraste, la poda en profundidad elimina capas o bloques completos, manteniendo el tamaño de los pesos restantes sin cambios. La mayoría de las investigaciones actuales se centran en la poda solo en anchura o en una combinación de poda en anchura y profundidad, con poco análisis comparativo entre estas dos unidades (anchura vs. profundidad) en cuanto a su impacto en la eficiencia de inferencia de los LLMs. En este trabajo, demostramos que un enfoque simple de poda en profundidad puede competir con métodos recientes de poda en anchura en términos de rendimiento en tareas de cero disparos. Nuestro método de poda mejora la velocidad de inferencia, especialmente en condiciones con limitaciones de memoria que requieren tamaños de lote reducidos para ejecutar LLMs, donde la poda en anchura resulta ineficaz. Esperamos que este trabajo pueda ayudar a implementar LLMs en dispositivos locales y de borde.

English

Structured pruning of modern large language models (LLMs) has emerged as a way of decreasing their high computational needs. Width pruning reduces the size of projection weight matrices (e.g., by removing attention heads) while maintaining the number of layers. Depth pruning, in contrast, removes entire layers or blocks, while keeping the size of the remaining weights unchanged. Most current research focuses on either width-only or a blend of width and depth pruning, with little comparative analysis between the two units (width vs. depth) concerning their impact on LLM inference efficiency. In this work, we show that a simple depth pruning approach can compete with recent width pruning methods in terms of zero-shot task performance. Our pruning method boosts inference speeds, especially under memory-constrained conditions that require limited batch sizes for running LLMs, where width pruning is ineffective. We hope this work can help deploy LLMs on local and edge devices.