Ottimizzazione della Morte Neuronale

Optimal Brain Apoptosis

February 25, 2025

Autori: Mingyuan Sun, Zheng Fang, Jiaxu Wang, Junjie Jiang, Delei Kong, Chenming Hu, Yuetong Fang, Renjing Xu

cs.AI

Abstract

La crescente complessità e il numero di parametri delle Reti Neurali Convoluzionali (CNN) e dei Transformer pongono sfide in termini di efficienza computazionale e richieste di risorse. Il pruning è stato identificato come una strategia efficace per affrontare queste sfide rimuovendo elementi ridondanti come neuroni, canali o connessioni, migliorando così l'efficienza computazionale senza compromettere significativamente le prestazioni. Questo articolo si basa sul lavoro fondamentale dell'Optimal Brain Damage (OBD) avanzando la metodologia di stima dell'importanza dei parametri utilizzando la matrice Hessiana. A differenza degli approcci precedenti che si affidano a approssimazioni, introduciamo l'Optimal Brain Apoptosis (OBA), un nuovo metodo di pruning che calcola direttamente il valore del prodotto Hessiano-vettore per ciascun parametro. Scomponendo la matrice Hessiana attraverso i livelli della rete e identificando le condizioni in cui le sottomatrici Hessiane inter-livello sono diverse da zero, proponiamo una tecnica altamente efficiente per calcolare l'espansione di Taylor del secondo ordine dei parametri. Questo approccio consente un processo di pruning più preciso, specialmente nel contesto delle CNN e dei Transformer, come validato nei nostri esperimenti che includono VGG19, ResNet32, ResNet50 e ViT-B/16 sui dataset CIFAR10, CIFAR100 e Imagenet. Il nostro codice è disponibile all'indirizzo https://github.com/NEU-REAL/OBA.

English

The increasing complexity and parameter count of Convolutional Neural Networks (CNNs) and Transformers pose challenges in terms of computational efficiency and resource demands. Pruning has been identified as an effective strategy to address these challenges by removing redundant elements such as neurons, channels, or connections, thereby enhancing computational efficiency without heavily compromising performance. This paper builds on the foundational work of Optimal Brain Damage (OBD) by advancing the methodology of parameter importance estimation using the Hessian matrix. Unlike previous approaches that rely on approximations, we introduce Optimal Brain Apoptosis (OBA), a novel pruning method that calculates the Hessian-vector product value directly for each parameter. By decomposing the Hessian matrix across network layers and identifying conditions under which inter-layer Hessian submatrices are non-zero, we propose a highly efficient technique for computing the second-order Taylor expansion of parameters. This approach allows for a more precise pruning process, particularly in the context of CNNs and Transformers, as validated in our experiments including VGG19, ResNet32, ResNet50, and ViT-B/16 on CIFAR10, CIFAR100 and Imagenet datasets. Our code is available at https://github.com/NEU-REAL/OBA.