ディープラーニングのためのマイクロスケーリングデータフォーマット
Microscaling Data Formats for Deep Learning
October 16, 2023
著者: Bita Darvish Rouhani, Ritchie Zhao, Ankit More, Mathew Hall, Alireza Khodamoradi, Summer Deng, Dhruv Choudhary, Marius Cornea, Eric Dellinger, Kristof Denolf, Stosic Dusan, Venmugil Elango, Maximilian Golub, Alexander Heinecke, Phil James-Roxby, Dharmesh Jani, Gaurav Kolhe, Martin Langhammer, Ada Li, Levi Melnick, Maral Mesmakhosroshahi, Andres Rodriguez, Michael Schulte, Rasoul Shafipour, Lei Shao, Michael Siu, Pradeep Dubey, Paulius Micikevicius, Maxim Naumov, Colin Verilli, Ralph Wittig, Eric Chung
cs.AI
要旨
狭いビット幅のデータフォーマットは、現代の深層学習アプリケーションの計算コストとストレージコストを削減する鍵となる。本論文では、ブロックごとのスケーリング係数と個々の要素に対する狭い浮動小数点型および整数型を組み合わせたMicroscaling（MX）データフォーマットを評価する。MXフォーマットは、ハードウェア効率、モデル精度、ユーザーフリクションという競合するニーズをバランスよく調整する。20以上のベンチマークでの実証結果は、MXデータフォーマットがベースラインのFP32を置き換える実用的な代替手段として、AI推論とトレーニングにおいて低いユーザーフリクションで使用できることを示している。また、生成言語モデルのトレーニングにおいて、8ビット未満の重み、活性化、勾配を用いても、精度の損失を最小限に抑え、トレーニングレシピを変更することなく実現できる初めての事例を示す。
English
Narrow bit-width data formats are key to reducing the computational and
storage costs of modern deep learning applications. This paper evaluates
Microscaling (MX) data formats that combine a per-block scaling factor with
narrow floating-point and integer types for individual elements.MX formats
balance the competing needs of hardware efficiency, model accuracy, and user
friction. Empirical results on over two dozen benchmarks demonstrate
practicality of MX data formats as a drop-in replacement for baseline FP32 for
AI inference and training with low user friction. We also show the first
instance of training generative language models at sub-8-bit weights,
activations, and gradients with minimal accuracy loss and no modifications to
the training recipe.