NeuralFuse: Lernen zur Verbesserung der Genauigkeit von Zugriffsbeschränkter Inferenz in neuronalen Netzwerken bei Niederspannungsregimen

NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

June 29, 2023

Autoren: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen, Tsung-Yi Ho

cs.AI

Zusammenfassung

Tiefe neuronale Netze (DNNs) sind inzwischen allgegenwärtig im Bereich des maschinellen Lernens, doch ihr Energieverbrauch bleibt ein beachtliches Problem. Die Absenkung der Versorgungsspannung ist eine effektive Strategie zur Reduzierung des Energieverbrauchs. Allerdings kann eine aggressive Reduzierung der Versorgungsspannung zu einer Verschlechterung der Genauigkeit führen, bedingt durch zufällige Bit-Flips im statischen RAM (SRAM), in dem die Modellparameter gespeichert sind. Um diese Herausforderung zu bewältigen, stellen wir NeuralFuse vor, ein neuartiges Add-on-Modul, das den Zielkonflikt zwischen Genauigkeit und Energieverbrauch in Niederspannungsbereichen durch das Erlernen von Eingabetransformationen zur Erzeugung fehlerresistenter Datenrepräsentationen adressiert. NeuralFuse schützt die Genauigkeit von DNNs sowohl im nominalen als auch im Niederspannungsbereich. Darüber hinaus ist NeuralFuse einfach zu implementieren und kann problemlos auf DNNs mit eingeschränktem Zugriff angewendet werden, wie beispielsweise nicht konfigurierbare Hardware oder Fernzugriff auf cloudbasierte APIs. Experimentelle Ergebnisse zeigen, dass NeuralFuse bei einer Bitfehlerrate von 1 % den SRAM-Speicherzugriffsenergieverbrauch um bis zu 24 % reduzieren und gleichzeitig die Genauigkeit um bis zu 57 % verbessern kann. Nach unserem besten Wissen ist dies der erste modellagnostische Ansatz (d.h. ohne Modell-Neutraining), der Bitfehler aufgrund von Niederspannung adressiert. Der Quellcode ist unter https://github.com/IBM/NeuralFuse verfügbar.

English

Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.