ORBIT: 起源調整型マージによるGenRetrievalにおける基盤言語能力の維持

要旨

大規模言語モデル（LLM）の開発は急速に進展しているものの、特定のタスクにファインチューニングを行うと、言語に基づく汎用的な推論能力が破滅的に忘却されることが多い。本研究では、生成的検索（GenRetrieval）タスクの文脈においてこの課題を調査し、対処する。GenRetrievalのファインチューニング中、この忘却は急速に発生し、ファインチューニング後のモデルと元のモデルのパラメータ間の距離と相関することを発見した。これらの観察に基づき、我々はORBITという新たなアプローチを提案する。これは、ファインチューニングされたモデルと初期モデルの重み間の距離を能動的に追跡し、そのモデル間距離が最大閾値を超えた場合に、重み平均化戦略を用いてGenRetrievalファインチューニング中のモデルドリフトを抑制するものである。実験結果は、ORBITが一般的な継続学習のベースラインや、同様に重み平均化を用いる関連する正則化手法を上回り、テキスト性能と検索性能を大幅に保持することを示している。

English

Despite the rapid advancements in large language model (LLM) development, fine-tuning them for specific tasks often results in the catastrophic forgetting of their general, language-based reasoning abilities. This work investigates and addresses this challenge in the context of the Generative Retrieval (GenRetrieval) task. During GenRetrieval fine-tuning, we find this forgetting occurs rapidly and correlates with the distance between the fine-tuned and original model parameters. Given these observations, we propose ORBIT, a novel approach that actively tracks the distance between fine-tuned and initial model weights, and uses a weight averaging strategy to constrain model drift during GenRetrieval fine-tuning when this inter-model distance exceeds a maximum threshold. Our results show that ORBIT retains substantial text and retrieval performance by outperforming both common continual learning baselines and related regularization methods that also employ weight averaging.

ORBIT: 起源調整型マージによるGenRetrievalにおける基盤言語能力の維持

ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging

要旨

Support