Self-OPD: 교사 없이 플로우 매칭 모델을 위한 온폴리시 증류

Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

August 27, 2026

저자: Shiyi Zhang, Mushui Liu, Yunze Tong, Wanggui He, Siyu Zou, Jinlong Liu, Yunlong Yu, Jian Song, Hao Jiang, Pipei Huang, Bo Zheng

cs.AI

초록

온-폴리시 증류(OPD)는 사전 훈련된 작업별 교사 모델을 활용하여 밀집 감독 신호를 제공하는 방식으로, 대규모 언어 모델(LLM)에서 큰 성공을 거두었으며 최근에는 플로우 매칭 모델에도 적용되었다. 그러나 이 패러다임은 두 가지 주요 문제를 안고 있다. 첫째, 새로운 목표마다 별도의 작업별 교사 모델을 훈련하는 데 높은 계산 비용이 소요된다. 둘째, 교사 모델과 학생 모델의 분포 불일치로 인해 생성 궤적을 따라 오류가 누적되는 경우가 많다. 본 논문에서는 학생 자신의 자기 탐색을 단계별 감독으로 전환하는, 교사가 없는 OPD 프레임워크인 Self-OPD를 제안한다. 각 시간 단계에서 Self-OPD는 결정론적 다음 상태 예측을 K개의 확률적 SDE 후보로 분기하고, 이를 ODE 샘플러로 롤아웃하여 보상을 결정론적 자기 참조 기준선과 비교함으로써 정규화된 어드밴티지를 얻는다. 속도장은 모든 분기 풀-푸시 목적 함수로 최적화되며, 여기서 높은 어드밴티지를 가진 분기는 학생을 끌어당기고 낮은 어드밴티지를 가진 분기는 방향 인식 감쇠와 SDE 분산 정규화를 적용하여 학생을 밀어낸다. 다중 목표 정렬을 위해 Self-OPD는 보상 수준에서 정규화된 점수를 융합하여 직접적인 기울기 충돌을 피한다. 단일 및 혼합 보상 벤치마크 실험에서 Self-OPD는 작업별 교사 모델 없이도 기존 RL 및 OPD 방법들을 능가하는 성능을 보여준다.

English

On-policy distillation (OPD), which leverages a pre-trained, specialized teacher model to provide dense supervisory signals, has achieved significant success in Large Language Models (LLMs) and has recently been adapted to flow matching models. However, this paradigm suffers from two major issues: First, training a separate, task-specific teacher for every new objective incurs high computational costs. Second, the discrepancy between teacher and student distributions often leads to compounding errors along the generation trajectory. In this paper, we introduce Self-OPD, a teacher-free OPD framework for flow matching models that turns the student's own self-exploration into step-wise supervision. At each timestep, Self-OPD branches the deterministic next-state prediction into K stochastic SDE candidates, rolls them out with the ODE sampler, and compares their rewards against a deterministic self-reference baseline to obtain normalized advantages. The velocity field is optimized with an all-branch pull-push objective, where high-advantage branches attract the student and low-advantage branches repel it under direction-aware attenuation and SDE-variance normalization. For multi-objective alignment, Self-OPD fuses normalized scores at the reward level, avoiding direct gradient conflict. Experiments on single and mixed reward benchmarks show that Self-OPD outperforms prior RL and OPD methods without task-specific teachers.