최적 뇌 세포자멸사

Optimal Brain Apoptosis

February 25, 2025

저자: Mingyuan Sun, Zheng Fang, Jiaxu Wang, Junjie Jiang, Delei Kong, Chenming Hu, Yuetong Fang, Renjing Xu

cs.AI

초록

컨볼루션 신경망(CNN)과 트랜스포머의 복잡성과 파라미터 수가 증가함에 따라 계산 효율성과 자원 요구량 측면에서 도전 과제가 대두되고 있습니다. 가지치기(Pruning)는 뉴런, 채널 또는 연결과 같은 중복 요소를 제거하여 성능을 크게 저하시키지 않으면서 계산 효율성을 향상시키는 효과적인 전략으로 확인되었습니다. 본 논문은 헤시안 행렬을 사용하여 파라미터 중요도 추정 방법론을 발전시킴으로써 최적 뇌 손상(Optimal Brain Damage, OBD)의 기초 작업을 확장합니다. 근사치에 의존하는 기존 접근 방식과 달리, 우리는 각 파라미터에 대해 헤시안-벡터 곱 값을 직접 계산하는 새로운 가지치기 방법인 최적 뇌 세포사멸(Optimal Brain Apoptosis, OBA)을 소개합니다. 네트워크 계층 간 헤시안 부분 행렬이 0이 아닌 조건을 식별하고 계층별로 헤시안 행렬을 분해함으로써, 우리는 파라미터의 2차 테일러 확장을 계산하는 매우 효율적인 기법을 제안합니다. 이 접근 방식은 특히 CNN과 트랜스포머의 경우 더 정밀한 가지치기 프로세스를 가능하게 하며, CIFAR10, CIFAR100 및 Imagenet 데이터셋에서 VGG19, ResNet32, ResNet50 및 ViT-B/16을 포함한 실험을 통해 검증되었습니다. 우리의 코드는 https://github.com/NEU-REAL/OBA에서 확인할 수 있습니다.

English

The increasing complexity and parameter count of Convolutional Neural Networks (CNNs) and Transformers pose challenges in terms of computational efficiency and resource demands. Pruning has been identified as an effective strategy to address these challenges by removing redundant elements such as neurons, channels, or connections, thereby enhancing computational efficiency without heavily compromising performance. This paper builds on the foundational work of Optimal Brain Damage (OBD) by advancing the methodology of parameter importance estimation using the Hessian matrix. Unlike previous approaches that rely on approximations, we introduce Optimal Brain Apoptosis (OBA), a novel pruning method that calculates the Hessian-vector product value directly for each parameter. By decomposing the Hessian matrix across network layers and identifying conditions under which inter-layer Hessian submatrices are non-zero, we propose a highly efficient technique for computing the second-order Taylor expansion of parameters. This approach allows for a more precise pruning process, particularly in the context of CNNs and Transformers, as validated in our experiments including VGG19, ResNet32, ResNet50, and ViT-B/16 on CIFAR10, CIFAR100 and Imagenet datasets. Our code is available at https://github.com/NEU-REAL/OBA.