最適な脳細胞死

要旨

畳み込みニューラルネットワーク（CNN）やTransformerの複雑さとパラメータ数の増加は、計算効率とリソース要求の面で課題を生じさせています。プルーニングは、ニューロン、チャネル、接続などの冗長な要素を削除することで、性能を大きく損なうことなく計算効率を向上させる効果的な戦略として認識されています。本論文は、Optimal Brain Damage（OBD）の基礎的な研究を基盤として、ヘッセ行列を用いたパラメータ重要度推定の方法論を進化させます。近似に依存する従来のアプローチとは異なり、我々は各パラメータに対して直接ヘッセ行列とベクトルの積を計算する新しいプルーニング手法であるOptimal Brain Apoptosis（OBA）を提案します。ネットワーク層全体でヘッセ行列を分解し、層間のヘッセ部分行列が非ゼロとなる条件を特定することで、パラメータの二次テイラー展開を効率的に計算する技術を提案します。このアプローチにより、特にCNNやTransformerにおいて、より精密なプルーニングプロセスが可能となります。これは、CIFAR10、CIFAR100、およびImagenetデータセットを用いたVGG19、ResNet32、ResNet50、ViT-B/16の実験によって検証されています。我々のコードはhttps://github.com/NEU-REAL/OBAで公開されています。

English

The increasing complexity and parameter count of Convolutional Neural Networks (CNNs) and Transformers pose challenges in terms of computational efficiency and resource demands. Pruning has been identified as an effective strategy to address these challenges by removing redundant elements such as neurons, channels, or connections, thereby enhancing computational efficiency without heavily compromising performance. This paper builds on the foundational work of Optimal Brain Damage (OBD) by advancing the methodology of parameter importance estimation using the Hessian matrix. Unlike previous approaches that rely on approximations, we introduce Optimal Brain Apoptosis (OBA), a novel pruning method that calculates the Hessian-vector product value directly for each parameter. By decomposing the Hessian matrix across network layers and identifying conditions under which inter-layer Hessian submatrices are non-zero, we propose a highly efficient technique for computing the second-order Taylor expansion of parameters. This approach allows for a more precise pruning process, particularly in the context of CNNs and Transformers, as validated in our experiments including VGG19, ResNet32, ResNet50, and ViT-B/16 on CIFAR10, CIFAR100 and Imagenet datasets. Our code is available at https://github.com/NEU-REAL/OBA.

最適な脳細胞死

Optimal Brain Apoptosis

要旨

Summary

Support

Support