RDP LoRA: Геометрически обоснованная идентификация для параметрически эффективной адаптации больших языковых моделей

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

April 21, 2026

Авторы: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

cs.AI

Аннотация

Тонкая настройка больших языковых моделей (LLM) остаётся структурно неопределённой, несмотря на параметрически эффективные методы, такие как Low-Rank Adaptation (LoRA), поскольку слабо изучены специфические для слоёв роли внутренних представлений, что приводит к эвристическим решениям о том, где следует применять адаптацию. Мы моделируем эволюцию скрытых состояний как траекторию в высокоразмерном геометрическом пространстве и предлагаем использовать алгоритм Рамера-Дугласа-Пьюкера (RDP) — беспараметрический и не требующий обучения метод упрощения полигонов, который сохраняет глобальные структурные переходы, устраняя локально избыточные изменения, — для идентификации критических точек излома вдоль пути представлений. Ключевым моментом является то, что мы используем эти геометрические точки поворота не только для анализа, но и в качестве прямого сигнала для принятия решения о том, какие слои следует адаптировать в ходе параметрически эффективной тонкой настройки. Интегрируя эту стратегию выбора слоёв на основе геометрии в тонкую настройку LoRA модели Qwen3-8B-Base, мы достигаем превосходной производительности на MMLU-Math, используя всего 13 слоёв, отобранных с помощью RDP (81.67%), что значительно превосходит как адаптацию всех 36 слоёв (79.32%), так и случайный выбор 13 слоёв (75.56%), а также базовую модель Qwen3-8B-Base (74.25%). Эти результаты демонстрируют, что использование внутренней геометрии траекторий представлений обеспечивает надежный, интерпретируемый и не требующий обучения сигнал для оптимизации выбора слоёв в процессе адаптации модели.

English

Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.