AdaPreLoRA: Adafactor Gepreconditioneerde Lage-Rang Adaptatie

Samenvatting

Low-Rank Adaptation (LoRA) herparameteriseert een gewichtsupdate als een product van twee laagrangefactoren, maar de Jacobiaan J_{G} van de generator die de factoren naar de gewichtsmatrix afbeeldt, is rangdefect, waardoor de factorruimte-preconditioner J_{G}^* {F}_t J_{G}, geïnduceerd door een willekeurige {W}-ruimte preconditioner {F}_t, singulier is, en bijgevolg de standaard kettingregel niet uniek kan worden geïnverteerd om een voorbehandelde {W}-ruimterichting terug te leiden naar een factorruimte-update. We plaatsen bestaande LoRA-optimizers in een uniform raamwerk geparameteriseerd door twee keuzes: (i) welke inverteerbare surrogaat voor J_{G}^* {F}_t J_{G} te gebruiken, en (ii) welke {F}_t op {W} te gebruiken. Bestaande methoden beslaan vier families langs deze assen: factorruimte-adaptieve updates, blokdiagonale surrogaten voor J_{G}^* J_{G}, Frobenius-residuen pseudo-inversiemethoden, en Riemann-variëteitconstraint. Binnen deze ontwerpruimte blijft een gradiëntstatistieken-bewuste {F}_t, gekoppeld aan een gesloten-vorm factorruimte-oplossing met {O}((m+n)r) geheugen, onderbelicht. We stellen AdaPreLoRA voor, dat deze leemte vult door de Adafactor-diagonale Kronecker-preconditioner {H}_t op {W} te adopteren en uit de resulterende factorruimte-oplossingsfamilie het element te selecteren dat een {H}_t-gewogen onbalans tussen de twee factorbijdragen minimaliseert; door constructie is de resulterende factorupdate de dichtstbijzijnde LoRA-benadering van de voorbehandelde {W}-ruimterichting onder de {H}_t-gewogen norm. Over GPT-2 (E2E), Mistral-7B en Qwen2-7B (GLUE, ARC, GSM8K), en diffusiemodelpersonalisatie, is AdaPreLoRA concurrerend met of verbetert het ten opzichte van een representatieve set LoRA-optimizers, terwijl het piek GPU-geheugen op het niveau van de LoRA-optimizer houdt.

English

Low-Rank Adaptation (LoRA) reparameterizes a weight update as a product of two low-rank factors, but the Jacobian J_{G} of the generator mapping the factors to the weight matrix is rank-deficient, so the factor-space preconditioner J_{G}^* {F}_t J_{G} induced by any {W}-space preconditioner {F}_t is singular, and consequently the standard chain rule cannot be uniquely inverted to map a preconditioned {W}-space direction back to a factor-space update. We cast existing LoRA optimizers in a unified framework parameterized by two choices: (i) which invertible surrogate for J_{G}^* {F}_t J_{G} to use, and (ii) which {F}_t on {W} to use. Existing methods occupy four families along these axes: factor-space adaptive updates, block-diagonal surrogates for J_{G}^* J_{G}, Frobenius-residual pseudoinverse methods, and Riemannian manifold constraint. Within this design space, a gradient-statistics-aware {F}_t paired with a closed-form factor-space solve at {O}((m+n)r) memory remains underexplored. We propose AdaPreLoRA, which fills this gap by adopting the Adafactor diagonal Kronecker preconditioner {H}_t on {W} and selecting from the resulting factor-space solution family the element minimizing an {H}_t-weighted imbalance between the two factor contributions; by construction, the resulting factor update is the closest LoRA approximation to the preconditioned {W}-space direction under the {H}_t-weighted norm. Across GPT-2 (E2E), Mistral-7B and Qwen2-7B (GLUE, ARC, GSM8K), and diffusion-model personalization, AdaPreLoRA is competitive with or improves over a representative set of LoRA optimizers while keeping peak GPU memory at the LoRA optimizer level.