GPTQ-2D：3次時間の両側適応的丸め

要旨

GPTQ、あるいはそれと等価なBabaiの最近平面アルゴリズムなどの適応的丸め法は、二次計量の下で実行列を整数に丸める。これらの手法は、固定された順序でエントリを一つずつ処理し、各丸め誤差を三角フィードバック行列を通じて未処理のエントリに伝播させる。本研究では、このタスクの両側版を扱う。そこでは、固定された正則基底行列が残差の左と右の両方に作用する。よく知られた片側の場合（one-sided case）は、右基底が単位行列である特別な場合に相当する。行列をベクトル化すると、両側版の目的関数は、グラム行列がクロネッカー積となる二次計量に変換される。したがって、一次元アルゴリズムをそのまま適用できるが、行列の次元に対して四乗の時間を要する。我々は、同一の丸め行列を三乗時間で生成するGPTQ-2Dを提案する。これはエントリを反対角（anti-diagonal）ごとに丸める。同じ反対角上のエントリは独立であり、並列に丸められる。

English

Adaptive rounding methods such as GPTQ, or equivalently Babai's nearest plane algorithm, round a real matrix to integers under a quadratic metric. They process the entries in a fixed order, one at a time, propagating each rounding error to the entries not yet processed through a triangular feedback matrix. We study the two-sided version of this task, in which fixed nonsingular basis matrices act on both the left and the right of the residual; the familiar one-sided case is the special case of an identity right basis. Vectorizing the matrix turns the two-sided objective into a quadratic metric whose Gram matrix is a Kronecker product, so the one-dimensional algorithm applies verbatim, but takes quartic time in the matrix dimension. We present GPTQ-2D, which produces the identical rounded matrix in cubic time. It rounds the entries anti-diagonal by anti-diagonal; entries on the same anti-diagonal are independent and are rounded in parallel.