Optimale Gehirn-Apoptose

Optimal Brain Apoptosis

February 25, 2025

Autoren: Mingyuan Sun, Zheng Fang, Jiaxu Wang, Junjie Jiang, Delei Kong, Chenming Hu, Yuetong Fang, Renjing Xu

cs.AI

Zusammenfassung

Die zunehmende Komplexität und Parameteranzahl von Convolutional Neural Networks (CNNs) und Transformern stellt Herausforderungen in Bezug auf Recheneffizienz und Ressourcenbedarf dar. Pruning wurde als effektive Strategie identifiziert, um diese Herausforderungen zu bewältigen, indem redundante Elemente wie Neuronen, Kanäle oder Verbindungen entfernt werden, wodurch die Recheneffizienz gesteigert wird, ohne die Leistung erheblich zu beeinträchtigen. Diese Arbeit baut auf den grundlegenden Arbeiten von Optimal Brain Damage (OBD) auf, indem sie die Methodik zur Schätzung der Parameterbedeutung mithilfe der Hessian-Matrix weiterentwickelt. Im Gegensatz zu früheren Ansätzen, die auf Approximationen beruhen, führen wir Optimal Brain Apoptosis (OBA) ein, eine neuartige Pruning-Methode, die den Hessian-Vektor-Produktwert direkt für jeden Parameter berechnet. Durch die Zerlegung der Hessian-Matrix über Netzwerkschichten und die Identifizierung von Bedingungen, unter denen inter-schichtliche Hessian-Untermatrizen nicht null sind, schlagen wir eine hocheffiziente Technik zur Berechnung der Taylor-Entwicklung zweiter Ordnung der Parameter vor. Dieser Ansatz ermöglicht einen präziseren Pruning-Prozess, insbesondere im Kontext von CNNs und Transformern, wie in unseren Experimenten mit VGG19, ResNet32, ResNet50 und ViT-B/16 auf den CIFAR10-, CIFAR100- und Imagenet-Datensätzen validiert wurde. Unser Code ist verfügbar unter https://github.com/NEU-REAL/OBA.

English

The increasing complexity and parameter count of Convolutional Neural Networks (CNNs) and Transformers pose challenges in terms of computational efficiency and resource demands. Pruning has been identified as an effective strategy to address these challenges by removing redundant elements such as neurons, channels, or connections, thereby enhancing computational efficiency without heavily compromising performance. This paper builds on the foundational work of Optimal Brain Damage (OBD) by advancing the methodology of parameter importance estimation using the Hessian matrix. Unlike previous approaches that rely on approximations, we introduce Optimal Brain Apoptosis (OBA), a novel pruning method that calculates the Hessian-vector product value directly for each parameter. By decomposing the Hessian matrix across network layers and identifying conditions under which inter-layer Hessian submatrices are non-zero, we propose a highly efficient technique for computing the second-order Taylor expansion of parameters. This approach allows for a more precise pruning process, particularly in the context of CNNs and Transformers, as validated in our experiments including VGG19, ResNet32, ResNet50, and ViT-B/16 on CIFAR10, CIFAR100 and Imagenet datasets. Our code is available at https://github.com/NEU-REAL/OBA.