RDP LoRA: Identificação Orientada pela Geometria para Adaptação Eficiente em Parâmetros em Modelos de Linguagem de Grande Escala

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

April 21, 2026

Autores: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

cs.AI

Resumo

A afinação de modelos de linguagem de grande escala (LLMs) permanece estruturalmente incerta, apesar de métodos eficientes em parâmetros como a Adaptação de Baixa Classificação (LoRA), uma vez que as funções específicas por camada das representações internas são pouco compreendidas, levando a decisões heurísticas sobre onde a adaptação deve ser aplicada. Nós modelamos a evolução dos estados ocultos como uma trajetória geométrica de alta dimensão e propomos o uso do algoritmo de Ramer-Douglas-Peucker (RDP), um método de simplificação de polígonos sem parâmetros e sem treinamento que preserva transições estruturais globais enquanto elimina alterações localmente redundantes, para identificar pontos de quebra críticos ao longo do caminho de representação. Crucialmente, usamos esses pontos de pivotagem geométricos não apenas para análise, mas como um sinal de decisão direta para determinar quais camadas devem ser adaptadas durante a afinação eficiente em parâmetros. Ao integrar esta estratégia de seleção de camadas consciente da geometria na afinação LoRA do Qwen3-8B-Base, alcançamos um desempenho superior no MMLU-Math usando apenas 13 camadas selecionadas pelo RDP (81,67%), superando significativamente tanto a adaptação completa de 36 camadas (79,32%) quanto a seleção aleatória de 13 camadas (75,56%), bem como o modelo de base Qwen3-8B-Base (74,25%). Estes resultados demonstram que alavancar a geometria intrínseca das trajetórias de representação fornece um sinal robusto, interpretável e livre de treinamento para otimizar a seleção de camadas durante a adaptação do modelo.

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.