분포 이동 상황에서 충실한 생성을 위한 토큰 수준 오프-폴리시 학습

초록

우리는 Token-Level Off-Policy Labeling (TOPL)을 제안합니다. 이는 사후 훈련(post-training)을 토큰 수준의 정확성 예측 작업으로 재구성하는 오프-폴리시(off-policy) 훈련 패러다임입니다. 핵심 직관은 모델이 응답 내에서 좋은 토큰과 나쁜 토큰을 구분하도록 훈련함으로써, 오프-폴리시 토큰을 생성하도록 직접 훈련할 때 발생하는 문제점을 피하면서 자연스럽게 좋은 토큰을 생성하도록 유도한다는 것입니다. 문서 요약 작업에 대한 실험에서 TOPL은 다양한 시퀀스 수준 및 토큰 수준 기준선(baselines)과 비교하여 11개 데이터셋에서 강력한 분포 외 일반화(out-of-distribution generalization) 성능을 달성함을 보여줍니다. 또한 TOPL이 기계 번역으로 효과적으로 전이됨을 입증하여, 그 이점이 다양한 충실한 생성(faithful generation) 작업에 걸쳐 일반화됨을 시사합니다. 절제 연구(ablation studies)를 통해 토큰 수준 학습 신호가 우수한 성능에 필수적이며, 시퀀스 수준의 유사 신호는 유사한 이점을 제공하지 않음을 확인합니다. 마지막으로, TOPL이 해석 가능한 모델 업데이트를 유도함을 보여줍니다: TOPL을 통해 학습된 LoRA 어댑터(adapters)는 선형 분류 헤드(linear classification heads) 및 스티어링 벡터(steering vectors)로 기능합니다.

English

We propose Token-Level Off-Policy Labeling (TOPL), an off-policy training paradigm that reframes post-training as a token-level correctness prediction task. Our key intuition is that by training the model to distinguish good and bad tokens in a response, we naturally guide the model towards generating good tokens, while avoiding the pitfalls that come with directly training the model to generate off-policy tokens. Experiments on document summarization tasks show that TOPL achieves strong out-of-distribution generalization across 11 datasets against a diverse set of sequence-level and token-level baselines. We further demonstrate that TOPL transfers effectively to machine translation, suggesting that its benefits generalize across different faithful generation tasks. Through ablation studies, we confirm that our token-level learning signal is critical to good performance; sequence-level analogues do not confer similar benefits. Finally, we show that TOPL induces interpretable model updates: the LoRA adapters learned through TOPL function as linear classification heads and steering vectors.