NeuralFuse: Leren om de nauwkeurigheid van toegangsbeperkte neurale netwerk inferentie in lage-spanning regimes te verbeteren

NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

June 29, 2023

Auteurs: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen, Tsung-Yi Ho

cs.AI

Samenvatting

Diepe neurale netwerken (DNN's) zijn alomtegenwoordig geworden in machine learning, maar hun energieverbruik blijft een opmerkelijk probleem. Het verlagen van de voedingsspanning is een effectieve strategie om het energieverbruik te verminderen. Echter, het agressief verlagen van de voedingsspanning kan leiden tot nauwkeurigheidsverlies door willekeurige bitflips in statisch RAM-geheugen (SRAM), waar modelparameters worden opgeslagen. Om deze uitdaging aan te pakken, introduceren we NeuralFuse, een nieuwe add-on module die de nauwkeurigheid-energie afweging in lage spanningsregimes aanpakt door invoertransformaties te leren om foutbestendige datarepresentaties te genereren. NeuralFuse beschermt de nauwkeurigheid van DNN's in zowel nominale als lage spanningsscenario's. Bovendien is NeuralFuse eenvoudig te implementeren en kan het gemakkelijk worden toegepast op DNN's met beperkte toegang, zoals niet-configureerbare hardware of externe toegang tot cloudgebaseerde API's. Experimentele resultaten tonen aan dat NeuralFuse, bij een bitfoutpercentage van 1%, het SRAM-geheugentoegangsenergieverbruik met tot 24% kan verminderen terwijl de nauwkeurigheid met tot 57% wordt verbeterd. Voor zover wij weten, is dit de eerste model-agnostische benadering (d.w.z. zonder modelhertraining) om bitfouten veroorzaakt door lage spanning aan te pakken. De broncode is beschikbaar op https://github.com/IBM/NeuralFuse.

English

Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.