RDP LoRA: 大規模言語モデルにおけるパラメータ効率の良い適応のための幾何学駆動型識別

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

April 21, 2026

著者: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

cs.AI

要旨

大規模言語モデル（LLM）のファインチューニングは、Low-Rank Adaptation（LoRA）などのパラメータ効率の良い手法が存在するにも関わらず、内部表現のレイヤごとの役割が十分に理解されていないため、適応を適用すべき箇所について経験則に依存した構造的な不確実性が残っている。本研究では、隠れ状態の変化を高次元の幾何学的軌道としてモデル化し、グローバルな構造的変化を保持しつつ局所的な冗長な変化を除去する、パラメータ不要かつ学習不要な多角形簡略化手法であるRamer-Douglas-Peucker（RDP）アルゴリズムを提案し、表現経路に沿った重要な分岐点を同定する。決定的に、これらの幾何学的な枢軸を単なる分析のためではなく、パラメータ効率的ファインチューニングにおいてどのレイヤを適応すべきかを決定する直接的な判断信号として利用する。この幾何学的意識に基づくレイヤ選択戦略をQwen3-8B-BaseのLoRAファインチューニングに統合した結果、RDPで選択された13レイヤのみを用いてMMLU-Mathにおいて優れた性能（81.67%）を達成し、全36レイヤの適応（79.32%）やランダムな13レイヤ選択（75.56%）、ベースラインのQwen3-8B-Baseモデル（74.25%）を大幅に上回った。これらの結果は、表現軌道の内在的幾何学を活用することが、モデル適応時のレイヤ選択を最適化するためのロバストで解釈可能かつ学習不要な信号を提供することを実証している。

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.