RDP LoRA: Identificazione Guidata dalla Geometria per l'Adattamento Efficiente nei Parametri dei Modelli Linguistici di Grande Dimensione

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

April 21, 2026

Autori: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

cs.AI

Abstract

L'ottimizzazione fine (fine-tuning) dei Large Language Model (LLM) rimane strutturalmente incerta nonostante metodi efficienti in termini di parametri come il Low-Rank Adaptation (LoRA), poiché i ruoli specifici per strato delle rappresentazioni interne sono scarsamente compresi, portando a decisioni euristiche su dove dovrebbe essere applicato l'adattamento. Modelliamo l'evoluzione degli stati nascosti come una traiettoria geometrica ad alta dimensione e proponiamo l'uso dell'algoritmo di Ramer-Douglas-Peucker (RDP), un metodo di semplificazione di poligoni privo di parametri e di addestramento che preserva le transizioni strutturali globali eliminando i cambiamenti ridondanti a livello locale, per identificare punti di svolta critici lungo il percorso di rappresentazione. Fondamentalmente, utilizziamo questi perni geometrici non solo per l'analisi, ma come segnale decisionale diretto per determinare quali strati adattare durante l'ottimizzazione fine efficiente in parametri. Integrando questa strategia di selezione degli strati consapevole della geometria nell'ottimizzazione fine LoRA di Qwen3-8B-Base, otteniamo prestazioni superiori su MMLU-Math utilizzando solo 13 strati selezionati con RDP (81,67%), superando significativamente sia l'adattamento completo a 36 strati (79,32%) che la selezione casuale di 13 strati (75,56%), nonché il modello baseline Qwen3-8B-Base (74,25%). Questi risultati dimostrano che sfruttare la geometria intrinseca delle traiettorie di rappresentazione fornisce un segnale robusto, interpretabile e privo di addestramento per ottimizzare la selezione degli strati durante l'adattamento del modello.

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.