Apoptosis Óptima del Cerebro

Optimal Brain Apoptosis

February 25, 2025

Autores: Mingyuan Sun, Zheng Fang, Jiaxu Wang, Junjie Jiang, Delei Kong, Chenming Hu, Yuetong Fang, Renjing Xu

cs.AI

Resumen

La creciente complejidad y el número de parámetros en las Redes Neuronales Convolucionales (CNNs) y los Transformers plantean desafíos en términos de eficiencia computacional y demandas de recursos. La poda ha sido identificada como una estrategia efectiva para abordar estos desafíos al eliminar elementos redundantes, como neuronas, canales o conexiones, mejorando así la eficiencia computacional sin comprometer significativamente el rendimiento. Este trabajo se basa en los fundamentos de Optimal Brain Damage (OBD) al avanzar en la metodología de estimación de la importancia de los parámetros utilizando la matriz Hessiana. A diferencia de enfoques anteriores que dependen de aproximaciones, introducimos Optimal Brain Apoptosis (OBA), un novedoso método de poda que calcula directamente el producto Hessiano-vector para cada parámetro. Al descomponer la matriz Hessiana a través de las capas de la red e identificar las condiciones bajo las cuales las submatrices Hessianas entre capas son no nulas, proponemos una técnica altamente eficiente para calcular la expansión de Taylor de segundo orden de los parámetros. Este enfoque permite un proceso de poda más preciso, particularmente en el contexto de CNNs y Transformers, como se valida en nuestros experimentos que incluyen VGG19, ResNet32, ResNet50 y ViT-B/16 en los conjuntos de datos CIFAR10, CIFAR100 e Imagenet. Nuestro código está disponible en https://github.com/NEU-REAL/OBA.

English

The increasing complexity and parameter count of Convolutional Neural Networks (CNNs) and Transformers pose challenges in terms of computational efficiency and resource demands. Pruning has been identified as an effective strategy to address these challenges by removing redundant elements such as neurons, channels, or connections, thereby enhancing computational efficiency without heavily compromising performance. This paper builds on the foundational work of Optimal Brain Damage (OBD) by advancing the methodology of parameter importance estimation using the Hessian matrix. Unlike previous approaches that rely on approximations, we introduce Optimal Brain Apoptosis (OBA), a novel pruning method that calculates the Hessian-vector product value directly for each parameter. By decomposing the Hessian matrix across network layers and identifying conditions under which inter-layer Hessian submatrices are non-zero, we propose a highly efficient technique for computing the second-order Taylor expansion of parameters. This approach allows for a more precise pruning process, particularly in the context of CNNs and Transformers, as validated in our experiments including VGG19, ResNet32, ResNet50, and ViT-B/16 on CIFAR10, CIFAR100 and Imagenet datasets. Our code is available at https://github.com/NEU-REAL/OBA.