프록시 탐색 및 재사용 가능한 가이던스: 프록시 기반 업데이트 신호를 통한 모듈식 LLM 사후 훈련 패러다임

초록

사후 학습은 대규모 언어 모델(LLM)의 도메인 특화 능력을 정제하는 데 필수적이지만, 기존의 보상 최적화 및 분포 매칭 방법은 정책 탐색과 분포 정렬을 밀접하게 결합한다. 이러한 결합은 정책 모델에 직접 비용이 많이 드는 탐색을 강요하며, 최적화 신호의 비동기 생성, 재사용 및 교차 모델 전송을 심각하게 방해한다. 본 논문에서는 업데이트 신호 탐색과 분포 정렬을 근본적으로 분리하는 새로운 사후 학습 프레임워크인 프록시 유도 업데이트 신호 전송(PUST)을 제안한다. 비용이 많이 드는 탐색에 주 모델을 활용하는 대신, PUST는 경량 프록시 모델을 효율적인 테스트베드로 사용하여 높은 보상을 얻는 행동을 발견한다. 프록시의 초기 상태와 최적화된 상태 간의 상대적 개선 신호를 추출하고, 이 방향성 업데이트를 주 모델에 전송하여 정책 정렬을 안내한다. 프록시 탐색, 업데이트 신호 추출, 신호 전송으로 구성된 이 분리된 파이프라인은 계산 오버헤드를 크게 줄이고 최적화 신호를 비동기적으로 생성, 캐싱 및 재사용할 수 있게 한다. 결정적으로, 절대적 정책 분포가 아닌 상대적 개선을 전송함으로써 PUST는 약-강 개선 및 원활한 교차 모델 전송을 자연스럽게 지원한다. 수학 및 코드 도메인에서 Qwen3 계열 모델에 대한 체계적 평가는 상당히 약한 프록시에서 추출된 업데이트 신호가 더 강한 주 모델을 강건하고 조정 가능하게 향상시킬 수 있음을 보여준다. 궁극적으로 PUST는 사후 학습을 단일 온라인 최적화 프로세스에서 매우 모듈화되고 재사용 가능하며 비용 효율적인 패러다임으로 변환한다.

English

Post-training is essential for refining the domain-specific capabilities of large language models (LLMs), yet existing reward optimization and distribution matching methods tightly couple policy exploration with distribution alignment. This coupling forces expensive exploration directly on the policy model and severely hinders the asynchronous generation, reuse, and cross-model transfer of optimization signals. In this paper, we propose Proxy-guided Update Signal Transfer (PUST), a novel post-training framework that fundamentally decouples update-signal exploration from distribution alignment. Instead of utilizing the primary model for costly exploration, PUST employs a lightweight proxy model as an efficient testbed to discover high-reward behaviors. We extract the relative improvement signal between the proxy's initial and optimized states, transferring this directional update to the primary model to guide its policy alignment. This decoupled pipeline, comprising proxy exploration, update-signal extraction, and signal transfer, significantly reduces computational overhead and enables optimization signals to be asynchronously generated, cached, and reused. Crucially, by transferring relative improvements rather than absolute policy distributions, PUST naturally supports weak-to-strong improvement and seamless cross-model transfer. Systematic evaluations on Qwen3-family models across math and code domains demonstrate that update signals extracted from substantially weaker proxies can robustly and adjustably enhance stronger primary models. Ultimately, PUST transforms post-training from a monolithic online optimization process into a highly modular, reusable, and cost-efficient paradigm.