Self-OPD: フローマッチングモデルのための教師なしオンポリシー蒸留

Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

August 27, 2026

著者: Shiyi Zhang, Mushui Liu, Yunze Tong, Wanggui He, Siyu Zou, Jinlong Liu, Yunlong Yu, Jian Song, Hao Jiang, Pipei Huang, Bo Zheng

cs.AI

要旨

オン方策蒸留（OPD）は、事前学習済みのタスク特化型教師モデルを利用して密な教師信号を提供する手法であり、大規模言語モデル（LLMs）で大きな成功を収め、近年ではフローマッチングモデルにも適用されている。しかし、このパラダイムには二つの重大な問題がある。第一に、新しい目的ごとにタスク特化型の教師を別途訓練するには高い計算コストがかかる。第二に、教師分布と生徒分布の乖離が、生成軌道に沿った誤差の累積を引き起こすことが多い。本論文では、フローマッチングモデル向けの教師不要OPDフレームワークであるSelf-OPDを提案する。Self-OPDは、生徒自身の自己探索をステップ単位の教師信号へと変換する。各時間ステップにおいて、Self-OPDは決定論的な次状態予測をK個の確率的SDE候補へ分岐させ、それらをODEサンプラーでロールアウトし、その報酬を決定論的な自己参照ベースラインと比較して正規化アドバンテージを得る。速度場は、全分岐のpull-push（引き寄せ・反発）目的関数によって最適化される。この目的関数では、方向を考慮した減衰とSDE分散の正規化の下で、高アドバンテージの分岐が生徒を引き寄せ、低アドバンテージの分岐が生徒を反発させる。多目的アライメントのため、Self-OPDは正規化されたスコアを報酬レベルで融合し、勾配の直接的な競合を回避する。単一報酬および混合報酬のベンチマーク実験では、Self-OPDはタスク特化型教師を必要とせず、従来のRLおよびOPD手法を上回る性能を示す。

English

On-policy distillation (OPD), which leverages a pre-trained, specialized teacher model to provide dense supervisory signals, has achieved significant success in Large Language Models (LLMs) and has recently been adapted to flow matching models. However, this paradigm suffers from two major issues: First, training a separate, task-specific teacher for every new objective incurs high computational costs. Second, the discrepancy between teacher and student distributions often leads to compounding errors along the generation trajectory. In this paper, we introduce Self-OPD, a teacher-free OPD framework for flow matching models that turns the student's own self-exploration into step-wise supervision. At each timestep, Self-OPD branches the deterministic next-state prediction into K stochastic SDE candidates, rolls them out with the ODE sampler, and compares their rewards against a deterministic self-reference baseline to obtain normalized advantages. The velocity field is optimized with an all-branch pull-push objective, where high-advantage branches attract the student and low-advantage branches repel it under direction-aware attenuation and SDE-variance normalization. For multi-objective alignment, Self-OPD fuses normalized scores at the reward level, avoiding direct gradient conflict. Experiments on single and mixed reward benchmarks show that Self-OPD outperforms prior RL and OPD methods without task-specific teachers.