INT 대 FP: 세분화된 저비트 양자화 형식에 대한 포괄적 연구

초록

NVIDIA의 Blackwell 아키텍처와 같은 현대 AI 하드웨어는 대규모 언어 모델(LLM)에서 보편적으로 나타나는 활성화 이상치(activation outlier)를 처리하기 위해 저정밀도 부동소수점(FP) 형식을 점점 더 많이 채택하고 있습니다. 이러한 산업 동향에도 불구하고, 다양한 세분화 수준(granularity)에서 FP와 정수(INT) 양자화를 통합적으로 비교한 연구가 부재하여 알고리즘과 하드웨어의 공동 설계에 명확한 지침이 없었습니다. 본 논문은 FP와 INT 형식 간의 trade-off를 체계적으로 조사하여 이러한 공백을 메웁니다. 우리는 중요한 성능 교차점을 밝혀냈습니다: FP는 coarse-grained 양자화에서 뛰어난 성능을 보이지만, fine-grained(block-wise) 수준의 비교는 더 미묘합니다. 우리의 포괄적 비교에 따르면, 널리 사용되는 8비트 fine-grained 형식(예: 블록 크기 32의 MX)의 경우 MXINT8이 알고리즘 정확도와 하드웨어 효율성 모두에서 FP 대응 형식보다 우수합니다. 그러나 4비트 형식의 경우 FP(예: MXFP4, NVFP4)가 정확도 측면에서 우위를 보이는 경우가 많지만, Hadamard 회전과 같은 이상치 완화 기술이 적용되면 NVINT4가 NVFP4를 능가할 수 있음을 보여줍니다. 또한 우리는 fine-grained 저비트 INT 학습에서 그래디언트 편향을 해결하는 대칭 클리핑(symmetric clipping) 방법을 도입하여 MXINT8 학습에서 거의 손실 없는 성능을 가능하게 합니다. 이러한 연구 결과는 현재의 하드웨어 발전 방향에 의문을 제기하며, '일반적' FP 접근법이 최적이 아니며, 특히 MXINT8과 같은 fine-grained INT 형식이 미래 AI 가속기를 위한 정확도, 전력, 효율성의 더 나은 균형을 제공함을 입증합니다.

English

Modern AI hardware, such as Nvidia's Blackwell architecture, is increasingly embracing low-precision floating-point (FP) formats to handle the pervasive activation outliers in Large Language Models (LLMs). Despite this industry trend, a unified comparison of FP and integer (INT) quantization across varying granularities has been missing, leaving algorithm and hardware co-design without clear guidance. This paper fills that gap by systematically investigating the trade-offs between FP and INT formats. We reveal a critical performance crossover: while FP excels in coarse-grained quantization, the comparison at fine-grained (block-wise) levels is more nuanced. Our comprehensive comparison demonstrates that for popular 8-bit fine-grained formats (e.g., MX with block size 32), MXINT8 is superior to its FP counterpart in both algorithmic accuracy and hardware efficiency. However, for 4-bit formats, FP (e.g., MXFP4, NVFP4) often holds an accuracy advantage , though we show that NVINT4 can surpass NVFP4 when outlier-mitigation techniques like Hadamard rotation are applied. We also introduce a symmetric clipping method that resolves gradient bias in fine-grained low-bit INT training, enabling nearly lossless performance for MXINT8 training. These findings challenge the current hardware trajectory, demonstrating that a one-size-fits-all FP approach is suboptimal and advocating that fine-grained INT formats, particularly MXINT8, offer a better balance of accuracy, power, and efficiency for future AI accelerators.

INT 대 FP: 세분화된 저비트 양자화 형식에 대한 포괄적 연구

INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats

초록

Support