RDP LoRA: Geometrie-gestuurde identificatie voor parameter-efficiënte aanpassing in grote taalmodel

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

April 21, 2026

Auteurs: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

cs.AI

Samenvatting

Het finetunen van grote taalmmodellen (LLM's) blijft structureel onzeker ondanks parameter-efficiënte methoden zoals Low-Rank Adaptation (LoRA), omdat de laagspecifieke rollen van interne representaties slecht worden begrepen. Dit leidt tot heuristische beslissingen over waar adaptatie moet worden toegepast. Wij modelleren de evolutie van verborgen toestanden als een hoogdimensionale geometrische trajectorie en stellen het gebruik voor van het Ramer-Douglas-Peucker (RDP)-algoritme, een parameter- en trainingsvrije polygonale vereenvoudigingsmethode die globale structurele transities behoudt terwijl lokale redundante veranderingen worden geëlimineerd, om kritieke breekpunten langs het representatiepad te identificeren. Cruciaal is dat we deze geometrische scharnierpunten niet louter voor analyse gebruiken, maar als een direct beslissingssignaal om te bepalen welke lagen moeten worden aangepast tijdens parameter-efficiënt finetunen. Door deze geometrie-bewuste laagselectiestrategie te integreren in LoRA-finetuning van Qwen3-8B-Base, behalen we superieure prestaties op MMLU-Math met slechts 13 RDP-geselecteerde lagen (81.67%), wat significant beter is dan zowel volledige adaptatie van 36 lagen (79.32%) als willekeurige selectie van 13 lagen (75.56%), evenals het baseline Qwen3-8B-Base-model (74.25%). Deze resultaten tonen aan dat het benutten van de intrinsieke geometrie van representatietrajecten een robuust, interpreteerbaar en trainingsvrij signaal biedt voor het optimaliseren van laagselectie tijdens modeladaptatie.

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.