Optimale Hersenapoptose

Optimal Brain Apoptosis

February 25, 2025

Auteurs: Mingyuan Sun, Zheng Fang, Jiaxu Wang, Junjie Jiang, Delei Kong, Chenming Hu, Yuetong Fang, Renjing Xu

cs.AI

Samenvatting

De toenemende complexiteit en het groeiende aantal parameters van Convolutionele Neurale Netwerken (CNN's) en Transformers brengen uitdagingen met zich mee op het gebied van computationele efficiëntie en resourcebehoeften. Pruning is geïdentificeerd als een effectieve strategie om deze uitdagingen aan te pakken door overbodige elementen zoals neuronen, kanalen of verbindingen te verwijderen, waardoor de computationele efficiëntie wordt verbeterd zonder de prestaties sterk te beïnvloeden. Dit artikel bouwt voort op het fundamentele werk van Optimal Brain Damage (OBD) door de methodologie van het schatten van parameterbelang te verbeteren met behulp van de Hessiaanse matrix. In tegenstelling tot eerdere benaderingen die afhankelijk zijn van benaderingen, introduceren we Optimal Brain Apoptosis (OBA), een nieuwe pruningmethode die de Hessiaan-vector productwaarde direct voor elke parameter berekent. Door de Hessiaanse matrix over netwerklagen te decomponeren en de voorwaarden te identificeren waaronder inter-layer Hessiaanse submatrices niet-nul zijn, stellen we een zeer efficiënte techniek voor voor het berekenen van de tweede-orde Taylor-expansie van parameters. Deze benadering maakt een nauwkeuriger pruningproces mogelijk, met name in de context van CNN's en Transformers, zoals gevalideerd in onze experimenten met VGG19, ResNet32, ResNet50 en ViT-B/16 op de CIFAR10, CIFAR100 en Imagenet datasets. Onze code is beschikbaar op https://github.com/NEU-REAL/OBA.

English

The increasing complexity and parameter count of Convolutional Neural Networks (CNNs) and Transformers pose challenges in terms of computational efficiency and resource demands. Pruning has been identified as an effective strategy to address these challenges by removing redundant elements such as neurons, channels, or connections, thereby enhancing computational efficiency without heavily compromising performance. This paper builds on the foundational work of Optimal Brain Damage (OBD) by advancing the methodology of parameter importance estimation using the Hessian matrix. Unlike previous approaches that rely on approximations, we introduce Optimal Brain Apoptosis (OBA), a novel pruning method that calculates the Hessian-vector product value directly for each parameter. By decomposing the Hessian matrix across network layers and identifying conditions under which inter-layer Hessian submatrices are non-zero, we propose a highly efficient technique for computing the second-order Taylor expansion of parameters. This approach allows for a more precise pruning process, particularly in the context of CNNs and Transformers, as validated in our experiments including VGG19, ResNet32, ResNet50, and ViT-B/16 on CIFAR10, CIFAR100 and Imagenet datasets. Our code is available at https://github.com/NEU-REAL/OBA.