ReRound: 보정 없는 LLM 양자화에서 중간점 모호성을 해결하는 재구성 기반 반올림

초록

ReRound(Reconstructive Rounding)는 양자화 구간의 중심 근처에 있는 가중치를 양자화할 때 표준 최근접 반올림(RTN) 방식에 내재된 중간점 모호성을 해결하는 사후 훈련 양자화 방법입니다. 사전 훈련된 LLM을 기반으로 ReRound는 조건부 확산 모델을 훈련하여 저비트 가중치의 연속 재구성을 생성합니다. 이렇게 재구성된 가중치는 구간 중간점 근처에 위치한 가중치의 반올림 방향을 명확히 하는 유도 신호로 작용합니다. 재구성 유도 반올림을 기존 RTN과 통합하기 위해 ReRound는 양자화된 가중치(최종 양자화 정수가 아니라)가 중간점에서 얼마나 떨어져 있는지를 측정하는 허용 오차 지표를 도입합니다. 중간점 주변의 허용 오차 영역 내에 있는 양자화 가중치는 확산 기반 재구성을 사용하여 양자화되는 반면, 양자화 경계에 더 가까운 가중치는 RTN으로 양자화됩니다. 허용 오차 매개변수를 탐색함으로써 ReRound는 여러 후보 양자화 정수 가중치 행렬을 생성하고, 주요 특이값이 원래 전체 정밀도 가중치의 특이값과 가장 유사한 역양자화 가중치 행렬 후보를 선택합니다. 선택된 후보가 ReRound가 사용하는 허용 오차 매개변수를 결정합니다. ReRound는 특히 소형 LLM에 효과적입니다. 다양한 소형 모델에서 3비트 및 4비트 가중치 양자화에 대해 표준 RTN보다 일관되게 우수한 성능을 보입니다. ReRound는 광범위한 보정 없는 방법들과 비교하여 우수한 정확도를 달성하고, 보정 의존적 접근 방식과도 경쟁력을 유지하며, 전적으로 오프라인으로 작동하여 저비트 추론 중 추가 오버헤드를 발생시키지 않습니다. ReRound 전략은 저비트 양자화를 위한 새로운 접근 방식을 나타냅니다. 이 방법은 LLM을 넘어 AI 모델에도 적용됩니다. 본 논문은 소형 LLM에 대한 적용에 초점을 맞춥니다.

English

ReRound (Reconstructive Rounding) is a post-training quantization method that addresses the midpoint ambiguity inherent in standard round-to-nearest (RTN) schemes when quantizing weights near the centers of quantization intervals. Starting from a pretrained LLM, ReRound trains a conditional diffusion model to produce continuous reconstructions of low-bit weights for the LLM. These reconstructed weights act as a guidance signal to disambiguate the rounding direction of weights located close to interval midpoints. To integrate this reconstruction-guided rounding with conventional RTN, ReRound introduces a tolerance metric measuring how far the quantized weight (not the final quantized integer) is away from the midpoint: quantized weights within a tolerance region around midpoints are quantized using diffusion-based reconstructions, whereas weights closer to quantization boundaries are quantized with RTN. By sweeping the tolerance parameter, ReRound generates multiple candidate quantized integer weight matrices and selects the de-quantized weight matrix candidate whose leading singular values most closely match those of the original full-precision weights. This selected candidate determines the tolerance parameter ReRound uses. ReRound is particularly effective for smaller LLMs. Across a range of such models, it consistently outperforms standard RTN for 3-bit and 4-bit weight quantization. ReRound achieves superior accuracy compared to an extensive set of calibration-free methods, remains competitive with calibration-dependent approaches, and operates entirely offline, introducing no additional overhead during low-bit inference. The ReRound strategy represents a new approach for low-bit quantization. The method applies to AI models beyond LLMs. This paper focuses on its applications to small LLMs.