RDP LoRA: 대규모 언어 모델의 매개변수 효율적 적응을 위한 기하학 기반 식별법

초록

대규모 언어 모델(LLM)의 미세 조정은 LoRA(Low-Rank Adaptation)와 같은 매개변수 효율적 방법이 등장했음에도 구조적으로 불확실한 상태로 남아 있습니다. 이는 내부 표현의 계층별 역할에 대한 이해가 부족하여, 어느 계층에 적용해야 하는지에 대한 경험적 결정에 의존하게 되기 때문입니다. 우리는 은닉 상태의 변화를 고차원 기하학적 궤적으로 모델링하고, 전역적 구조적 전이는 보존하면서 국소적 중복 변화를 제거하는 매개변수 불필요 및 학습 불필요 다각형 단순화 방법인 Ramer-Douglas-Peucker(RDP) 알고리즘을 활용하여 표현 경로 상의 중요한 전환점을 식별하는 방법을 제안합니다. 핵심적으로, 이러한 기하학적 중심점을 단순한 분석 도구가 아닌, 매개변수 효율적 미세 조정 과정에서 실제로 어떤 계층을 적용해야 할지를 결정하는 직접적인 의사 결정 신호로 활용합니다. Qwen3-8B-Base 모델의 LoRA 미세 조정에 이 기하학 인식 계층 선택 전략을 통합한 결과, RDP로 선택된 13개 계층(81.67%)만을 사용하여 MMLU-Math에서 우수한 성능을 달성했습니다. 이는 전체 36개 계층 적용(79.32%)과 무작위 13개 계층 선택(75.56%), 그리고 기준 Qwen3-8B-Base 모델(74.25%)을 모두 크게 능가하는 수치입니다. 이러한 결과는 표현 궤적의 내재적 기하학을 활용하는 것이 모델 적용 과정에서 계층 선택을 최적화하기 위한 강력하고 해석 가능하며 학습이 필요 없는 신호를 제공함을 입증합니다.

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.

RDP LoRA: 대규모 언어 모델의 매개변수 효율적 적응을 위한 기하학 기반 식별법

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

초록

Support