LIFT den Schleier für die Wahrheit: Hauptgewichte entstehen nach der Rangreduktion für auf das Schlussfolgern ausgerichtetes überwachtes Feinabstimmen

LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning

June 1, 2025

Autoren: Zihang Liu, Tianyu Pang, Oleg Balabanov, Chaoqun Yang, Tianjin Huang, Lu Yin, Yaoqing Yang, Shiwei Liu

cs.AI

Zusammenfassung

Aktuelle Studien haben gezeigt, dass das überwachte Feinabstimmen von LLMs auf einer kleinen Anzahl hochwertiger Datensätze starke Fähigkeiten im logischen Denken erzeugen kann. Allerdings ist das vollständige Feinabstimmen (Full FT), obwohl leistungsstark, rechenintensiv und anfällig für Überanpassung und katastrophales Vergessen, insbesondere wenn die Daten begrenzt sind. Das spärliche Feinabstimmen, das zuvor bemerkenswerte Erfolge durch die Aktualisierung nur einer kleinen Teilmenge der Modellparameter erzielte, bietet einen vielversprechenden Kompromiss zwischen Effizienz und Effektivität. Dennoch hat es im Zeitalter der LLMs aufgrund der Schwierigkeit, die wirklich entscheidenden Parameter für das logische Denken zu identifizieren, an Boden verloren. In dieser Arbeit stellen wir fest, dass Gewichte mit der größten Größe nach einer Niedrigrang-Approximation kritische Gewichte für das Feinabstimmen sind, die wir als Hauptgewichte bezeichnen. Überraschenderweise ist das auf der Größe basierende spärliche Feinabstimmen als Baseline beim Feinabstimmen von LLMs zwar schlecht, wird jedoch nach der Rangreduktion sehr effektiv. Diese Erkenntnisse motivieren unsere Methode: Niedrigrang-informiertes spärliches Feinabstimmen (LIFT). LIFT aktualisiert nur die obersten 5 % der Hauptgewichte während des Trainings und erzielt durchweg bessere Leistungen bei Aufgaben zum logischen Denken als Full FT, während es die Speichereffizienz auf dem Niveau beliebter parameter-effizienter Feinabstimmungsmethoden beibehält. Neben starker Leistung in Zielbereichen wie arithmetischem Denken behält LIFT im Vergleich zu Full FT und LoRA auch bis zu 20 % mehr Wissen aus dem Quellbereich. Unser Code ist verfügbar unter: https://github.com/zihanghliu/LIFT.

English

Recent studies have shown that supervised fine-tuning of LLMs on a small number of high-quality datasets can yield strong reasoning capabilities. However, full fine-tuning (Full FT), while powerful, is computationally expensive and susceptible to overfitting and catastrophic forgetting, particularly when data is limited. Sparse fine-tuning, which previously achieved notable success by updating only a small subset of model parameters, offers a promising trade-off between efficiency and effectiveness. Yet, it has lagged behind in the LLM era due to the difficulty of identifying parameters truly critical for reasoning. In this work, we state that weights with the largest magnitude after low-rank approximation are critical weights for fine-tuning, which we call Principal Weights. Surprisingly, while magnitude-based sparse fine-tuning performs poorly as a baseline on LLM fine-tuning, it becomes highly effective after rank reduction. These insights motivate our method: Low-rank Informed Sparse Fine-Tuning (LIFT). LIFT only updates the top 5% Principal Weights throughout training and consistently achieves better performance on reasoning tasks than Full FT, while maintaining memory efficiency on par with popular parameter-efficient fine-tuning methods. In addition to strong performance on target domains such as arithmetic reasoning, LIFT also retains up to 20% more source-domain knowledge, compared to Full FT and LoRA. Our code is available at: https://github.com/zihanghliu/LIFT.