アライメントにおける言語チェーン：言語横断的ランキング選好最適化

要旨

大規模言語モデルのアライメントは英語中心の高品質な選好データに大きく依存しており、その結果、他の言語では性能が最適以下になることが多い。本稿では、英語から得られる頑健な選好知識を活用し、対象言語における選好アライメントを促進する新しいフレームワークであるCross-lingual Ranking Preference Optimization（CRPO）を提案する。対象言語と英語にわたる並列選好ペア内に階層構造を設計し、言語内および言語間の選好を同時に最適化することで、言語適応と出力品質を向上させる。LambdaLossフレームワークに基づくCRPOは、二値比較に基づく最適化を超え、複数の候補応答にわたる相対ランキング信号を提供する。リソース規模の異なる5言語にわたる実験では、CRPOは指示追従能力と知識活用能力の両方において標準的手法を一貫して上回ることを示した。特に、さまざまな重み付けスキームにわたって観察された堅調な性能向上は、多言語設定における階層設計の実証的有効性をさらに裏付けるものである。さらに、CRPOは報酬マージンと望ましい応答の対数確率の両方を大幅に改善し、言語横断的アライメントのためのより安定した選好多様体に寄与することを明らかにする。コードはhttps://github.com/dltmddbs100/CRPOで公開している。

English

The alignment of Large Language Models heavily relies on English-centric high-quality preference data, which often leads to suboptimal performance in other languages. In this paper, we propose Cross-lingual Ranking Preference Optimization~(CRPO), a novel framework that leverages robust preference knowledge from English to facilitate preference alignment in the target language. We design a hierarchical structure within parallel preference pairs across the target language and English to jointly optimize intra- and inter-lingual preferences, thereby enhancing language adaptation and output quality. Building on the LambdaLoss framework, CRPO goes beyond the binary comparison based optimization by providing a relative ranking signal across multiple candidate responses. Our experiments across five languages with varying resource scales demonstrate that CRPO consistently outperforms standard approaches in both instruction-following and knowledge utilization capability. Notably, the robust performance gains observed across various weighting schemes further validate the empirical effectiveness of our hierarchical design in a multilingual setup. Furthermore, our findings highlight that CRPO significantly improves both reward margins and the log-probability of desirable responses, contributing to a more stable preference manifold for cross-lingual alignment. Our code is available at https://github.com/dltmddbs100/CRPO.