Formatos de Datos de Microescalado para Aprendizaje Profundo

Microscaling Data Formats for Deep Learning

October 16, 2023

Autores: Bita Darvish Rouhani, Ritchie Zhao, Ankit More, Mathew Hall, Alireza Khodamoradi, Summer Deng, Dhruv Choudhary, Marius Cornea, Eric Dellinger, Kristof Denolf, Stosic Dusan, Venmugil Elango, Maximilian Golub, Alexander Heinecke, Phil James-Roxby, Dharmesh Jani, Gaurav Kolhe, Martin Langhammer, Ada Li, Levi Melnick, Maral Mesmakhosroshahi, Andres Rodriguez, Michael Schulte, Rasoul Shafipour, Lei Shao, Michael Siu, Pradeep Dubey, Paulius Micikevicius, Maxim Naumov, Colin Verilli, Ralph Wittig, Eric Chung

cs.AI

Resumen

Los formatos de datos de ancho de bits reducido son clave para disminuir los costos computacionales y de almacenamiento en las aplicaciones modernas de aprendizaje profundo. Este artículo evalúa los formatos de datos de Microscalado (MX), que combinan un factor de escalado por bloque con tipos de punto flotante y enteros de ancho reducido para elementos individuales. Los formatos MX equilibran las necesidades contrapuestas de eficiencia hardware, precisión del modelo y fricción del usuario. Los resultados empíricos en más de dos docenas de benchmarks demuestran la viabilidad de los formatos MX como reemplazo directo del FP32 base para inferencia y entrenamiento de IA con baja fricción del usuario. También mostramos el primer caso de entrenamiento de modelos generativos de lenguaje con pesos, activaciones y gradientes de menos de 8 bits, con una pérdida mínima de precisión y sin modificaciones en la receta de entrenamiento.

English

Narrow bit-width data formats are key to reducing the computational and storage costs of modern deep learning applications. This paper evaluates Microscaling (MX) data formats that combine a per-block scaling factor with narrow floating-point and integer types for individual elements.MX formats balance the competing needs of hardware efficiency, model accuracy, and user friction. Empirical results on over two dozen benchmarks demonstrate practicality of MX data formats as a drop-in replacement for baseline FP32 for AI inference and training with low user friction. We also show the first instance of training generative language models at sub-8-bit weights, activations, and gradients with minimal accuracy loss and no modifications to the training recipe.