SFTの対立とRLの共存：LLMのマルチタスク学習に関する理論的・実証的分析

要旨

教師ありファインチューニング（SFT）と強化学習（RL）は、大規模言語モデル（LLM）のマルチタスク推論能力を向上させる際に、根本的に異なる挙動を示す。我々の予備実験により、以下の現象が明らかになった。すなわち、SFTは多段階訓練において深刻なタスク間競合を引き起こすのに対し、RLは多様なタスク間での安定的な共存を可能にする。実証的には、この差異をパラメータレベルまで追跡し、RLがタスク間でスパースかつほぼ直交する更新を誘発することを観察した。我々は、マルチタスク勾配干渉の解析を通じて、このメカニズムに関する理論的説明を提供する。結果から得られた区別は以下の通りである。SFTにおける干渉はノルム制約を受け、絶対的な勾配の大きさに比例してスケールする。一方、RLにおける干渉は分散制約を受け、アドバンテージ正規化とオン方策最適化によって生じる勾配の分散によって上限が定められる。この小さな分散の上限により、タスク間の最適化方向がほぼ直交する。この知見を活用し、マルチタスク訓練を分離するパラダイムであるParallel-RLを提案する。これにより、効率性と柔軟性が大幅に向上する。

English

Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) exhibit fundamentally different behaviors in enhancing multi-task reasoning for large language models (LLMs). Our preliminary experiments revealed a phenomenon: SFT suffers from severe task conflicts under multi-stage training, whereas RL enables stable coexistence across diverse tasks. Empirically, we trace this to the parameter level, observing that RL induces sparse and approximately orthogonal updates across tasks. We provide a theoretical explanation for this mechanism by analyzing multi-task gradient interference. Our results reveal a distinction: interference in SFT is norm-limited, scaling with the absolute gradient magnitude, whereas interference in RL is variance-limited, bounded by the gradient variance induced by advantage normalization and on-policy optimization. This small variance bound yields near-orthogonal optimization directions across tasks. Leveraging this insight, we propose Parallel-RL, a paradigm that decouples multi-task training, significantly improving efficiency and flexibility.