NeuralFuse: 저전압 환경에서 접근 제한된 신경망 추론의 정확도 향상을 위한 학습 기법

NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

June 29, 2023

저자: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen, Tsung-Yi Ho

cs.AI

초록

딥 뉴럴 네트워크(DNN)는 머신 러닝 분야에서 널리 사용되고 있지만, 그 에너지 소비는 여전히 중요한 문제로 남아 있습니다. 공급 전압을 낮추는 것은 에너지 소비를 줄이기 위한 효과적인 전략입니다. 그러나 공급 전압을 과도하게 낮추면 모델 파라미터가 저장된 SRAM(정적 랜덤 액세스 메모리)에서 무작위 비트 플립이 발생하여 정확도가 저하될 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 NeuralFuse라는 새로운 애드온 모듈을 소개합니다. 이 모듈은 입력 변환을 학습하여 오류에 강한 데이터 표현을 생성함으로써 저전압 환경에서의 정확도와 에너지 간의 트레이드오프를 해결합니다. NeuralFuse는 정상 전압과 저전압 시나리오 모두에서 DNN의 정확도를 보호합니다. 또한, NeuralFuse는 구현이 간단하며, 비구성 가능한 하드웨어나 클라우드 기반 API에 대한 원격 접근과 같이 제한된 접근이 가능한 DNN에도 쉽게 적용할 수 있습니다. 실험 결과에 따르면, 1%의 비트 오류율에서 NeuralFuse는 SRAM 메모리 접근 에너지를 최대 24%까지 줄이면서 정확도를 최대 57%까지 향상시킬 수 있습니다. 우리가 아는 한, 이는 저전압으로 인한 비트 오류를 해결하기 위한 첫 번째 모델-불특정 접근법(즉, 모델 재훈련 없음)입니다. 소스 코드는 https://github.com/IBM/NeuralFuse에서 확인할 수 있습니다.

English

Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.