ORBIT: 원본 조절 병합을 통한 생성 검색에서의 기초 언어 능력 보존

초록

대규모 언어 모델(LLM) 개발의 급속한 발전에도 불구하고, 특정 작업에 맞춰 파인튜닝하면 일반적인 언어 기반 추론 능력이 치명적으로 망각되는 결과가 초래된다. 본 연구는 생성적 검색(GenRetrieval) 작업을 중심으로 이 문제를 조사하고 해결 방안을 제시한다. GenRetrieval 파인튜닝 과정에서 이러한 망각이 빠르게 발생하며, 파인튜닝된 모델과 원래 모델 매개변수 간의 거리와 상관관계가 있음을 발견했다. 이러한 관찰 결과를 바탕으로, 우리는 파인튜닝된 모델 가중치와 초기 모델 가중치 간의 거리를 능동적으로 추적하고, 이 모델 간 거리가 최대 임계값을 초과할 때 가중치 평균화 전략을 사용하여 GenRetrieval 파인튜닝 중 모델 표류를 제한하는 ORBIT을 제안한다. 실험 결과, ORBIT은 일반적인 지속적 학습 기준선 및 가중치 평균화를 사용하는 관련 정규화 방법보다 우수한 성능을 보이며, 텍스트 및 검색 성능을 상당 부분 유지한다.

English

Despite the rapid advancements in large language model (LLM) development, fine-tuning them for specific tasks often results in the catastrophic forgetting of their general, language-based reasoning abilities. This work investigates and addresses this challenge in the context of the Generative Retrieval (GenRetrieval) task. During GenRetrieval fine-tuning, we find this forgetting occurs rapidly and correlates with the distance between the fine-tuned and original model parameters. Given these observations, we propose ORBIT, a novel approach that actively tracks the distance between fine-tuned and initial model weights, and uses a weight averaging strategy to constrain model drift during GenRetrieval fine-tuning when this inter-model distance exceeds a maximum threshold. Our results show that ORBIT retains substantial text and retrieval performance by outperforming both common continual learning baselines and related regularization methods that also employ weight averaging.

ORBIT: 원본 조절 병합을 통한 생성 검색에서의 기초 언어 능력 보존

ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging

초록

Support