진실을 위한 베일을 벗기다: 추론 중심 지도 미세조정에서 순위 축소 후 주요 가중치가 부각되다

초록

최근 연구에 따르면, 소수의 고품질 데이터셋에 대해 대형 언어 모델(LLM)을 지도 학습 방식으로 미세 조정하면 강력한 추론 능력을 얻을 수 있는 것으로 나타났습니다. 그러나 전체 모델 미세 조정(Full FT)은 강력한 성능을 보이지만, 계산 비용이 많이 들고 과적합 및 치명적 망각(catastrophic forgetting)에 취약하며, 특히 데이터가 제한적일 때 이러한 문제가 두드러집니다. 이전에 모델 파라미터의 작은 부분집합만 업데이트함으로써 주목할 만한 성공을 거둔 희소 미세 조정(Sparse Fine-tuning)은 효율성과 효과성 사이의 유망한 균형을 제공합니다. 그러나 LLM 시대에서는 추론에 실제로 중요한 파라미터를 식별하기 어렵다는 점 때문에 뒤처져 왔습니다. 본 연구에서는 저랭크 근사(low-rank approximation) 후 가장 큰 크기를 가진 가중치가 미세 조정에 중요한 가중치임을 밝히고, 이를 '주요 가중치(Principal Weights)'라고 명명합니다. 흥미롭게도, 크기 기반 희소 미세 조정은 LLM 미세 조정에서 베이스라인으로는 성능이 낮지만, 랭크 축소 후에는 매우 효과적이 됩니다. 이러한 통찰력은 우리의 방법인 저랭크 기반 희소 미세 조정(Low-rank Informed Sparse Fine-tuning, LIFT)을 이끌어냈습니다. LIFT는 학습 과정에서 상위 5%의 주요 가중치만 업데이트하며, 추론 작업에서 Full FT보다 일관되게 더 나은 성능을 달성하면서도, 인기 있는 파라미터 효율적 미세 조정 방법과 동등한 메모리 효율성을 유지합니다. 산술 추론과 같은 목표 도메인에서 강력한 성능을 보이는 것 외에도, LIFT는 Full FT 및 LoRA와 비교해 최대 20% 더 많은 소스 도메인 지식을 유지합니다. 우리의 코드는 https://github.com/zihanghliu/LIFT에서 확인할 수 있습니다.

English

Recent studies have shown that supervised fine-tuning of LLMs on a small number of high-quality datasets can yield strong reasoning capabilities. However, full fine-tuning (Full FT), while powerful, is computationally expensive and susceptible to overfitting and catastrophic forgetting, particularly when data is limited. Sparse fine-tuning, which previously achieved notable success by updating only a small subset of model parameters, offers a promising trade-off between efficiency and effectiveness. Yet, it has lagged behind in the LLM era due to the difficulty of identifying parameters truly critical for reasoning. In this work, we state that weights with the largest magnitude after low-rank approximation are critical weights for fine-tuning, which we call Principal Weights. Surprisingly, while magnitude-based sparse fine-tuning performs poorly as a baseline on LLM fine-tuning, it becomes highly effective after rank reduction. These insights motivate our method: Low-rank Informed Sparse Fine-Tuning (LIFT). LIFT only updates the top 5% Principal Weights throughout training and consistently achieves better performance on reasoning tasks than Full FT, while maintaining memory efficiency on par with popular parameter-efficient fine-tuning methods. In addition to strong performance on target domains such as arithmetic reasoning, LIFT also retains up to 20% more source-domain knowledge, compared to Full FT and LoRA. Our code is available at: https://github.com/zihanghliu/LIFT.

진실을 위한 베일을 벗기다: 추론 중심 지도 미세조정에서 순위 축소 후 주요 가중치가 부각되다

LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning

초록

Support