La Irrazonable Ineficacia de las Capas Más Profundas

The Unreasonable Ineffectiveness of the Deeper Layers

March 26, 2024

Autores: Andrey Gromov, Kushal Tirumala, Hassan Shapourian, Paolo Glorioso, Daniel A. Roberts

cs.AI

Resumen

Estudiamos empíricamente una estrategia simple de poda de capas para familias populares de modelos de lenguaje preentrenados (LLMs) de pesos abiertos, encontrando una degradación mínima del rendimiento en diferentes benchmarks de preguntas y respuestas hasta después de eliminar una gran fracción (hasta la mitad) de las capas. Para podar estos modelos, identificamos el bloque óptimo de capas a eliminar considerando la similitud entre las capas; luego, para "sanar" el daño, realizamos una pequeña cantidad de ajuste fino. En particular, utilizamos métodos de ajuste fino eficiente en parámetros (PEFT), específicamente cuantización y adaptadores de bajo rango (QLoRA), de modo que cada uno de nuestros experimentos pueda realizarse en una sola GPU A100. Desde una perspectiva práctica, estos resultados sugieren que los métodos de poda de capas pueden complementar otras estrategias PEFT para reducir aún más los recursos computacionales del ajuste fino, por un lado, y pueden mejorar la memoria y la latencia de la inferencia, por otro lado. Desde una perspectiva científica, la robustez de estos LLMs a la eliminación de capas implica que los métodos actuales de preentrenamiento no están aprovechando adecuadamente los parámetros en las capas más profundas de la red o que las capas superficiales desempeñan un papel crítico en el almacenamiento de conocimiento.

English

We empirically study a simple layer-pruning strategy for popular families of open-weight pretrained LLMs, finding minimal degradation of performance on different question-answering benchmarks until after a large fraction (up to half) of the layers are removed. To prune these models, we identify the optimal block of layers to prune by considering similarity across layers; then, to "heal" the damage, we perform a small amount of finetuning. In particular, we use parameter-efficient finetuning (PEFT) methods, specifically quantization and Low Rank Adapters (QLoRA), such that each of our experiments can be performed on a single A100 GPU. From a practical perspective, these results suggest that layer pruning methods can complement other PEFT strategies to further reduce computational resources of finetuning on the one hand, and can improve the memory and latency of inference on the other hand. From a scientific perspective, the robustness of these LLMs to the deletion of layers implies either that current pretraining methods are not properly leveraging the parameters in the deeper layers of the network or that the shallow layers play a critical role in storing knowledge.