分布シフト下における忠実な生成のためのトークンレベルのオフポリシー学習

要旨

Token-Level Off-Policy Labeling（TOPL）を提案する。これは、ポストトレーニングをトークンレベルの正しさ予測タスクとして再定義するオフポリシー訓練パラダイムである。我々の主要な直感は、応答に含まれる良いトークンと悪いトークンをモデルに区別させるよう訓練することで、良いトークンを生成する方向へ自然に導きつつ、オフポリシートークンを直接生成させる訓練に伴う落とし穴を回避できるという点にある。文書要約タスクにおける実験では、TOPLが多様なシーケンスレベル・トークンレベルのベースラインに対して、11のデータセットにわたって強い分布外汎化を達成することを示す。さらに、TOPLが機械翻訳にも効果的に転移することを示し、その利点が異なる忠実な生成タスクに一般化されることを示唆する。アブレーション研究により、トークンレベルの学習信号が優れた性能に不可欠であり、シーケンスレベルの類似手法では同様の利点が得られないことを確認する。最後に、TOPLが解釈可能なモデル更新を誘発することを示す。すなわち、TOPLを通じて学習されるLoRAアダプターは、線形分類ヘッドおよびステアリングベクトルとして機能する。

English

We propose Token-Level Off-Policy Labeling (TOPL), an off-policy training paradigm that reframes post-training as a token-level correctness prediction task. Our key intuition is that by training the model to distinguish good and bad tokens in a response, we naturally guide the model towards generating good tokens, while avoiding the pitfalls that come with directly training the model to generate off-policy tokens. Experiments on document summarization tasks show that TOPL achieves strong out-of-distribution generalization across 11 datasets against a diverse set of sequence-level and token-level baselines. We further demonstrate that TOPL transfers effectively to machine translation, suggesting that its benefits generalize across different faithful generation tasks. Through ablation studies, we confirm that our token-level learning signal is critical to good performance; sequence-level analogues do not confer similar benefits. Finally, we show that TOPL induces interpretable model updates: the LoRA adapters learned through TOPL function as linear classification heads and steering vectors.