RDP LoRA: Geometrie-gesteuerte Identifikation für parameter-effiziente Anpassung in großen Sprachmodellen

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

April 21, 2026

Autoren: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

cs.AI

Zusammenfassung

Das Feinabstimmen großer Sprachmodelle (LLMs) bleibt trotz parameter-effizienter Methoden wie Low-Rank Adaptation (LoRA) strukturell ungewiss, da die schichtspezifischen Rollen interner Repräsentationen nur unzureichend verstanden sind, was zu heuristischen Entscheidungen über die anzupassenden Schichten führt. Wir modellieren die Entwicklung versteckter Zustände als hochdimensionale geometrische Trajektorie und schlagen die Verwendung des Ramer-Douglas-Peucker (RDP)-Algorithmus vor – einer parameter- und trainingsfreien Polygonvereinfachungsmethode, die globale strukturelle Übergänge bewahrt, während lokal redundante Änderungen eliminiert werden –, um kritische Wendepunkte entlang des Repräsentationspfads zu identifizieren. Entscheidend ist, dass wir diese geometrischen Drehpunkte nicht nur zur Analyse verwenden, sondern als direktes Entscheidungssignal dafür, welche Schichten während des parameter-effizienten Feinabstimmens adaptiert werden sollten. Durch die Integration dieser geometriebewussten Schichtauswahlstrategie in die LoRA-Feinabstimmung von Qwen3-8B-Base erzielen wir mit nur 13 RDP-ausgewählten Schichten eine überlegene Leistung auf MMLU-Math (81,67%), die sowohl die vollständige Adaptation aller 36 Schichten (79,32%) als auch eine zufällige Auswahl von 13 Schichten (75,56%) sowie das Qwen3-8B-Base-Basismodell (74,25%) signifikant übertrifft. Diese Ergebnisse zeigen, dass die Nutzung der intrinsischen Geometrie von Repräsentationstrajektorien ein robustes, interpretierbares und trainingsfreies Signal zur Optimierung der Schichtauswahl während der Modellanpassung liefert.

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.