Apoptose Cerebral Ótima

Optimal Brain Apoptosis

February 25, 2025

Autores: Mingyuan Sun, Zheng Fang, Jiaxu Wang, Junjie Jiang, Delei Kong, Chenming Hu, Yuetong Fang, Renjing Xu

cs.AI

Resumo

A crescente complexidade e o número de parâmetros das Redes Neurais Convolucionais (CNNs) e dos Transformers apresentam desafios em termos de eficiência computacional e demanda de recursos. A poda (pruning) tem sido identificada como uma estratégia eficaz para enfrentar esses desafios, removendo elementos redundantes, como neurônios, canais ou conexões, melhorando assim a eficiência computacional sem comprometer significativamente o desempenho. Este artigo se baseia no trabalho fundamental do Optimal Brain Damage (OBD), avançando a metodologia de estimativa de importância de parâmetros utilizando a matriz Hessiana. Diferentemente de abordagens anteriores que dependem de aproximações, introduzimos o Optimal Brain Apoptosis (OBA), um novo método de poda que calcula diretamente o valor do produto Hessiano-vetor para cada parâmetro. Ao decompor a matriz Hessiana em camadas da rede e identificar condições sob as quais as submatrizes Hessianas entre camadas são diferentes de zero, propomos uma técnica altamente eficiente para calcular a expansão de Taylor de segunda ordem dos parâmetros. Essa abordagem permite um processo de poda mais preciso, especialmente no contexto de CNNs e Transformers, conforme validado em nossos experimentos com VGG19, ResNet32, ResNet50 e ViT-B/16 nos conjuntos de dados CIFAR10, CIFAR100 e Imagenet. Nosso código está disponível em https://github.com/NEU-REAL/OBA.

English

The increasing complexity and parameter count of Convolutional Neural Networks (CNNs) and Transformers pose challenges in terms of computational efficiency and resource demands. Pruning has been identified as an effective strategy to address these challenges by removing redundant elements such as neurons, channels, or connections, thereby enhancing computational efficiency without heavily compromising performance. This paper builds on the foundational work of Optimal Brain Damage (OBD) by advancing the methodology of parameter importance estimation using the Hessian matrix. Unlike previous approaches that rely on approximations, we introduce Optimal Brain Apoptosis (OBA), a novel pruning method that calculates the Hessian-vector product value directly for each parameter. By decomposing the Hessian matrix across network layers and identifying conditions under which inter-layer Hessian submatrices are non-zero, we propose a highly efficient technique for computing the second-order Taylor expansion of parameters. This approach allows for a more precise pruning process, particularly in the context of CNNs and Transformers, as validated in our experiments including VGG19, ResNet32, ResNet50, and ViT-B/16 on CIFAR10, CIFAR100 and Imagenet datasets. Our code is available at https://github.com/NEU-REAL/OBA.