NeuralFuse: Aprendendo a Melhorar a Precisão da Inferência em Redes Neurais com Acesso Limitado em Regimes de Baixa Tensão

NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

June 29, 2023

Autores: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen, Tsung-Yi Ho

cs.AI

Resumo

Redes neurais profundas (DNNs) tornaram-se ubíquas no aprendizado de máquina, mas seu consumo de energia continua sendo um problema significativo. Reduzir a tensão de alimentação é uma estratégia eficaz para diminuir o consumo de energia. No entanto, reduzir agressivamente a tensão de alimentação pode levar à degradação da precisão devido a inversões aleatórias de bits na memória estática de acesso aleatório (SRAM), onde os parâmetros do modelo são armazenados. Para enfrentar esse desafio, apresentamos o NeuralFuse, um módulo adicional inovador que aborda a relação entre precisão e energia em regimes de baixa tensão, aprendendo transformações de entrada para gerar representações de dados resistentes a erros. O NeuralFuse protege a precisão das DNNs tanto em cenários nominais quanto de baixa tensão. Além disso, o NeuralFuse é de fácil implementação e pode ser prontamente aplicado a DNNs com acesso limitado, como hardware não configurável ou acesso remoto a APIs baseadas em nuvem. Resultados experimentais demonstram que, com uma taxa de erro de bits de 1%, o NeuralFuse pode reduzir a energia de acesso à memória SRAM em até 24%, enquanto melhora a precisão em até 57%. Até onde sabemos, esta é a primeira abordagem agnóstica ao modelo (ou seja, sem retreinamento do modelo) para lidar com erros de bits induzidos por baixa tensão. O código-fonte está disponível em https://github.com/IBM/NeuralFuse.

English

Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.