NeuralFuse: Aprendizaje para Mejorar la Precisión de la Inferencia en Redes Neuronales con Acceso Limitado en Regímenes de Bajo Voltaje

NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

June 29, 2023

Autores: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen, Tsung-Yi Ho

cs.AI

Resumen

Las redes neuronales profundas (DNNs, por sus siglas en inglés) se han vuelto omnipresentes en el aprendizaje automático, pero su consumo de energía sigue siendo un problema notable. Reducir el voltaje de alimentación es una estrategia efectiva para disminuir el consumo de energía. Sin embargo, reducir agresivamente el voltaje de alimentación puede provocar una degradación en la precisión debido a cambios aleatorios de bits en la memoria estática de acceso aleatorio (SRAM), donde se almacenan los parámetros del modelo. Para abordar este desafío, presentamos NeuralFuse, un módulo complementario novedoso que aborda el equilibrio entre precisión y energía en regímenes de bajo voltaje mediante el aprendizaje de transformaciones de entrada para generar representaciones de datos resistentes a errores. NeuralFuse protege la precisión de las DNNs tanto en escenarios nominales como de bajo voltaje. Además, NeuralFuse es fácil de implementar y puede aplicarse fácilmente a DNNs con acceso limitado, como hardware no configurable o acceso remoto a APIs basadas en la nube. Los resultados experimentales demuestran que, con una tasa de error de bits del 1%, NeuralFuse puede reducir la energía de acceso a la memoria SRAM hasta en un 24% mientras mejora la precisión hasta en un 57%. Hasta donde sabemos, este es el primer enfoque agnóstico al modelo (es decir, sin necesidad de reentrenar el modelo) para abordar los errores de bits inducidos por el bajo voltaje. El código fuente está disponible en https://github.com/IBM/NeuralFuse.

English

Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.