プロキシ探索と再利用可能なガイダンス：プロキシ誘導更新信号によるモジュール型LLMポストトレーニングパラダイム

要旨

ポストトレーニングは大規模言語モデル（LLM）のドメイン固有の能力を洗練するために不可欠であるが、既存の報酬最適化手法や分布一致手法はポリシー探索と分布調整を密に結合している。この結合により、ポリシーモデルに直接コストのかかる探索を強いられ、最適化信号の非同期生成、再利用、モデル間転送が著しく妨げられる。本稿では、更新信号の探索と分布調整を根本的に分離する新しいポストトレーニングフレームワークであるProxy-guided Update Signal Transfer（PUST）を提案する。PUSTは主要モデルを高コストな探索に用いる代わりに、軽量なプロキシモデルを効率的なテストベッドとして活用し、高報酬の行動を発見する。プロキシの初期状態と最適化状態の間の相対的な改善信号を抽出し、その方向性のある更新を主要モデルに転送してポリシー調整を導く。この分離されたパイプラインは、プロキシ探索、更新信号抽出、信号転送から構成され、計算オーバーヘッドを大幅に削減するとともに、最適化信号の非同期生成、キャッシュ、再利用を可能にする。重要なのは、絶対的なポリシー分布ではなく相対的な改善を転送することで、PUSTは弱から強への改善とシームレスなモデル間転送を自然にサポートする点である。数学とコード領域にわたるQwen3ファミリーモデルを用いた体系的な評価により、実質的に弱いプロキシから抽出された更新信号が、より強い主要モデルを頑健かつ調整可能に強化できることが示された。最終的に、PUSTはポストトレーニングをモノリシックなオンライン最適化プロセスから、高度にモジュール化され再利用可能でコスト効率の高いパラダイムへと変革する。

English

Post-training is essential for refining the domain-specific capabilities of large language models (LLMs), yet existing reward optimization and distribution matching methods tightly couple policy exploration with distribution alignment. This coupling forces expensive exploration directly on the policy model and severely hinders the asynchronous generation, reuse, and cross-model transfer of optimization signals. In this paper, we propose Proxy-guided Update Signal Transfer (PUST), a novel post-training framework that fundamentally decouples update-signal exploration from distribution alignment. Instead of utilizing the primary model for costly exploration, PUST employs a lightweight proxy model as an efficient testbed to discover high-reward behaviors. We extract the relative improvement signal between the proxy's initial and optimized states, transferring this directional update to the primary model to guide its policy alignment. This decoupled pipeline, comprising proxy exploration, update-signal extraction, and signal transfer, significantly reduces computational overhead and enables optimization signals to be asynchronously generated, cached, and reused. Crucially, by transferring relative improvements rather than absolute policy distributions, PUST naturally supports weak-to-strong improvement and seamless cross-model transfer. Systematic evaluations on Qwen3-family models across math and code domains demonstrate that update signals extracted from substantially weaker proxies can robustly and adjustably enhance stronger primary models. Ultimately, PUST transforms post-training from a monolithic online optimization process into a highly modular, reusable, and cost-efficient paradigm.