RDP LoRA: Identificación Guiada por la Geometría para la Adaptación Eficiente en Parámetros de Modelos de Lenguaje Grandes

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

April 21, 2026

Autores: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

cs.AI

Resumen

El ajuste fino de modelos de lenguaje grandes (LLM) sigue siendo estructuralmente incierto a pesar de métodos eficientes en parámetros como la Adaptación de Bajo Rango (LoRA), ya que los roles específicos por capa de las representaciones internas son poco conocidos, lo que conduce a decisiones heurísticas sobre dónde debe aplicarse la adaptación. Modelamos la evolución de los estados ocultos como una trayectoria geométrica de alta dimensión y proponemos utilizar el algoritmo de Ramer-Douglas-Peucker (RDP), un método de simplificación de polígonos sin parámetros y sin entrenamiento que preserva las transiciones estructurales globales mientras elimina los cambios localmente redundantes, para identificar puntos de ruptura críticos a lo largo de la ruta de representación. Crucialmente, utilizamos estos pivotes geométricos no solo para el análisis, sino como una señal de decisión directa para determinar qué capas deben adaptarse durante el ajuste fino eficiente en parámetros. Al integrar esta estrategia de selección de capas consciente de la geometría en el ajuste fino con LoRA de Qwen3-8B-Base, logramos un rendimiento superior en MMLU-Math utilizando solo 13 capas seleccionadas por RDP (81.67%), superando significativamente tanto la adaptación completa de 36 capas (79.32%) como la selección aleatoria de 13 capas (75.56%), así como el modelo base Qwen3-8B-Base (74.25%). Estos resultados demuestran que aprovechar la geometría intrínseca de las trayectorias de representación proporciona una señal robusta, interpretable y libre de entrenamiento para optimizar la selección de capas durante la adaptación del modelo.

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.