GPTQ-2D: 3차 시간 양방향 적응형 반올림

초록

GPTQ 또는 동등하게는 Babai의 최근접 평면 알고리즘과 같은 적응형 반올림 방법은 실수 행렬을 이차 계량 하에서 정수로 반올림한다. 이 방법들은 항목들을 고정된 순서로 하나씩 처리하며, 각 반올림 오차를 아직 처리되지 않은 항목들에 삼각 피드백 행렬을 통해 전파한다. 우리는 이 작업의 양측(two-sided) 버전을 연구하는데, 여기서 고정된 비특이 기저 행렬들이 잔차의 왼쪽과 오른쪽 모두에 작용한다. 익숙한 일측(one-sided) 경우는 오른쪽 기저가 항등 행렬인 특수한 경우이다. 행렬을 벡터화하면 양측 목적 함수는 그람 행렬이 크로네커 곱인 이차 계량으로 변환되므로, 1차원 알고리즘이 그대로 적용되지만 행렬 차원에 대해 4차 시간이 소요된다. 우리는 동일한 반올림 행렬을 3차 시간에 생성하는 GPTQ-2D를 제시한다. 이 방법은 항목들을 반대각선(anti-diagonal) 단위로 반올림하며, 같은 반대각선 상의 항목들은 독립적이므로 병렬로 반올림된다.

English

Adaptive rounding methods such as GPTQ, or equivalently Babai's nearest plane algorithm, round a real matrix to integers under a quadratic metric. They process the entries in a fixed order, one at a time, propagating each rounding error to the entries not yet processed through a triangular feedback matrix. We study the two-sided version of this task, in which fixed nonsingular basis matrices act on both the left and the right of the residual; the familiar one-sided case is the special case of an identity right basis. Vectorizing the matrix turns the two-sided objective into a quadratic metric whose Gram matrix is a Kronecker product, so the one-dimensional algorithm applies verbatim, but takes quartic time in the matrix dimension. We present GPTQ-2D, which produces the identical rounded matrix in cubic time. It rounds the entries anti-diagonal by anti-diagonal; entries on the same anti-diagonal are independent and are rounded in parallel.