Микромасштабирование форматов данных для глубокого обучения
Microscaling Data Formats for Deep Learning
October 16, 2023
Авторы: Bita Darvish Rouhani, Ritchie Zhao, Ankit More, Mathew Hall, Alireza Khodamoradi, Summer Deng, Dhruv Choudhary, Marius Cornea, Eric Dellinger, Kristof Denolf, Stosic Dusan, Venmugil Elango, Maximilian Golub, Alexander Heinecke, Phil James-Roxby, Dharmesh Jani, Gaurav Kolhe, Martin Langhammer, Ada Li, Levi Melnick, Maral Mesmakhosroshahi, Andres Rodriguez, Michael Schulte, Rasoul Shafipour, Lei Shao, Michael Siu, Pradeep Dubey, Paulius Micikevicius, Maxim Naumov, Colin Verilli, Ralph Wittig, Eric Chung
cs.AI
Аннотация
Узкие форматы данных с малым количеством битов играют ключевую роль в снижении вычислительных и ресурсных затрат современных приложений глубокого обучения. В данной работе исследуются форматы данных Microscaling (MX), которые сочетают масштабирующий коэффициент на уровне блока с узкими типами данных с плавающей запятой и целыми числами для отдельных элементов. Форматы MX находят баланс между конкурирующими требованиями аппаратной эффективности, точности модели и удобства использования. Экспериментальные результаты на более чем двух десятках тестовых задач демонстрируют практическую применимость форматов MX в качестве прямой замены базового формата FP32 для задач вывода и обучения в ИИ с минимальными усилиями со стороны пользователя. Мы также впервые показываем возможность обучения генеративных языковых моделей с весами, активациями и градиентами менее 8 бит с минимальной потерей точности и без изменений в процессе обучения.
English
Narrow bit-width data formats are key to reducing the computational and
storage costs of modern deep learning applications. This paper evaluates
Microscaling (MX) data formats that combine a per-block scaling factor with
narrow floating-point and integer types for individual elements.MX formats
balance the competing needs of hardware efficiency, model accuracy, and user
friction. Empirical results on over two dozen benchmarks demonstrate
practicality of MX data formats as a drop-in replacement for baseline FP32 for
AI inference and training with low user friction. We also show the first
instance of training generative language models at sub-8-bit weights,
activations, and gradients with minimal accuracy loss and no modifications to
the training recipe.