RDP LoRA : Identification pilotée par la géométrie pour l'adaptation économe en paramètres des grands modèles de langage

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

April 21, 2026

Auteurs: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

cs.AI

Résumé

Le réglage fin des grands modèles de langage (LLM) demeure structurellement incertain malgré les méthodes paramétriquement efficaces comme l'adaptation bas rang (LoRA), car les rôches spécifiques aux couches des représentations internes sont mal compris, conduisant à des décisions heuristiques sur les couches à adapter. Nous modélisons l'évolution des états cachés comme une trajectoire géométrique en haute dimension et proposons d'utiliser l'algorithme de Ramer-Douglas-Peucker (RDP), une méthode de simplification de polygones sans paramètre ni entraînement qui préserve les transitions structurelles globales tout en éliminant les changements localement redondants, pour identifier des points de rupture critiques le long du chemin de représentation. Surtout, nous utilisons ces pivots géométriques non seulement pour l'analyse, mais comme signal décisionnel direct pour déterminer quelles couches adapter lors du réglage fin paramétriquement efficace. En intégrant cette stratégie de sélection de couches géométriquement consciente dans le réglage fin LoRA de Qwen3-8B-Base, nous obtenons des performances supérieures sur MMLU-Math avec seulement 13 couches sélectionnées par RDP (81,67%), surpassant significativement l'adaptation complète sur 36 couches (79,32%) et la sélection aléatoire de 13 couches (75,56%), ainsi que le modèle de base Qwen3-8B-Base (74,25%). Ces résultats démontrent que l'exploitation de la géométrie intrinsèque des trajectoires de représentation fournit un signal robuste, interprétable et sans entraînement pour optimiser la sélection des couches durant l'adaptation du modèle.

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.