NeuralFuse : Apprentissage pour améliorer la précision de l'inférence des réseaux de neurones à accès limité dans des régimes de basse tension

NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

June 29, 2023

Auteurs: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen, Tsung-Yi Ho

cs.AI

Résumé

Les réseaux de neurones profonds (DNN) sont devenus omniprésents dans l'apprentissage automatique, mais leur consommation énergétique reste un problème notable. La réduction de la tension d'alimentation est une stratégie efficace pour diminuer la consommation d'énergie. Cependant, une réduction agressive de la tension d'alimentation peut entraîner une dégradation de la précision en raison de basculements aléatoires de bits dans la mémoire statique à accès aléatoire (SRAM) où les paramètres du modèle sont stockés. Pour relever ce défi, nous introduisons NeuralFuse, un module complémentaire novateur qui aborde le compromis entre précision et énergie dans les régimes de basse tension en apprenant des transformations d'entrée pour générer des représentations de données résistantes aux erreurs. NeuralFuse protège la précision des DNN dans les scénarios nominaux et à basse tension. De plus, NeuralFuse est facile à implémenter et peut être appliqué directement à des DNN avec un accès limité, tels que du matériel non configurable ou un accès distant à des API basées sur le cloud. Les résultats expérimentaux montrent que, avec un taux d'erreur de bits de 1%, NeuralFuse peut réduire l'énergie d'accès à la mémoire SRAM jusqu'à 24% tout en améliorant la précision jusqu'à 57%. À notre connaissance, il s'agit de la première approche agnostique au modèle (c'est-à-dire sans réentraînement du modèle) pour traiter les erreurs de bits induites par la basse tension. Le code source est disponible à l'adresse https://github.com/IBM/NeuralFuse.

English

Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.