Poly-OPD：能力選択可能なフローモデルのための異種マルチ教師オンポリシー蒸留

要旨

主要なオープンなテキスト画像生成モデルは、しばしば相補的な強みを持つ。あるモデルは嗜好アライメントされた美的品質で優れる一方、別のモデルは構成指示をより忠実に守る。しかし、オートエンコーダーとノイズスケジュールの違いにより、これらの強みをモデル間で移転することは困難である。本論文では、異種の教師モデルの相補的な強みを、単一のコンパクトなフローマッチング生徒モデルに統合できるフレームワークPoly-OPDを提案する。異なる教師モデルの非互換な潜在空間を橋渡しするため、Poly-OPDはピクセルブリッジを通じたオン方策蒸留を実行する。生徒モデルが生成した各画像は、選択された教師モデルのエンコーダーで再符号化され、教師モデルのノイズスケジュールのもとで、ノイズの大きさを一致させたノイズレベルから精緻化される。得られたターゲットは、さらに凍結されたDINOv2空間内で生徒モデルと照合され、非互換な潜在空間を跨いだ教師信号を可能にする。教師モデル間の干渉なしに相補的な能力を保持するため、Poly-OPDは勾配互換性診断を用いてアダプターを構成する。アテンションLoRAモジュールは全教師モデル間で共有される一方、フィードフォワードアダプターは教師モデル固有のままである。蒸留中、ギャップを考慮したカリキュラムは、生徒モデルがまだ教師モデルに及ばない構成カテゴリに多くの訓練を割り当てる。各ギャップが縮小するにつれて、訓練は残りのギャップが大きいカテゴリへと移行する。FLUX.1-devとZ-Imageを2.5BのSD3.5-Medium生徒モデルに蒸留することで、Poly-OPDはGenEvalを67.3から73.3に改善し、より大型の両教師モデルを上回る。またDrawBench HPSv3を9.34から11.35に引き上げ、両方の強みを切り替え可能なモデルに統合する。

English

Leading open text-to-image models often carry complementary strengths: one may lead on preference-aligned aesthetics while another follows compositional instructions more faithfully. However, differences in their autoencoders and noise schedules make it difficult to transfer these strengths across models. In this paper, we present Poly-OPD, a framework that can consolidate complementary strengths of heterogeneous teachers into a single compact flow-matching student. To bridge the incompatible latent spaces of different teachers, Poly-OPD performs on-policy distillation through a pixel bridge. Each student-generated image is re-encoded by a selected teacher's encoder and refined from a noise level matched by magnitude under the teacher's noise schedule. The resulting target is further matched to the student in frozen DINOv2 space, enabling supervision across incompatible latent spaces. To retain complementary capabilities without cross-teacher interference, Poly-OPD uses a gradient compatibility diagnostic to organize its adapters: attention LoRA modules are shared across teachers, whereas feed-forward adapters remain teacher-specific. During distillation, a gap-aware curriculum devotes more training to compositional categories where the student still falls short of the teacher. As each gap narrows, training shifts toward categories with larger remaining gaps. By distilling FLUX.1-dev and Z-Image into a 2.5B SD3.5-Medium student, Poly-OPD improves GenEval from 67.3 to 73.3, surpassing both larger teachers, and raises DrawBench HPSv3 from 9.34 to 11.35, consolidating both strengths within a switchable model.