NeuralFuse: Apprendimento per Migliorare l'Accuratezza dell'Inferenza di Reti Neurali con Accesso Limitato in Regimi di Bassa Tensione

NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

June 29, 2023

Autori: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen, Tsung-Yi Ho

cs.AI

Abstract

Le reti neurali profonde (DNN) sono diventate onnipresenti nel campo dell'apprendimento automatico, ma il loro consumo energetico rimane un problema significativo. Abbassare la tensione di alimentazione è una strategia efficace per ridurre il consumo energetico. Tuttavia, ridurre in modo aggressivo la tensione di alimentazione può portare a un degrado dell'accuratezza a causa di inversioni casuali di bit nella memoria statica ad accesso casuale (SRAM), dove sono memorizzati i parametri del modello. Per affrontare questa sfida, introduciamo NeuralFuse, un modulo aggiuntivo innovativo che affronta il compromesso tra accuratezza ed energia in regimi di bassa tensione, apprendendo trasformazioni degli input per generare rappresentazioni di dati resistenti agli errori. NeuralFuse protegge l'accuratezza delle DNN sia in scenari nominali che a bassa tensione. Inoltre, NeuralFuse è facile da implementare e può essere applicato prontamente a DNN con accesso limitato, come hardware non configurabile o accesso remoto a API basate su cloud. I risultati sperimentali dimostrano che, con un tasso di errore di bit dell'1%, NeuralFuse può ridurre l'energia di accesso alla memoria SRAM fino al 24%, migliorando al contempo l'accuratezza fino al 57%. Per quanto ne sappiamo, questo è il primo approccio agnostico al modello (ovvero, senza riaddestramento del modello) per affrontare gli errori di bit indotti dalla bassa tensione. Il codice sorgente è disponibile all'indirizzo https://github.com/IBM/NeuralFuse.

English

Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.