DanceOPD : Distillation de champ génératif on-policy

Résumé

La génération d'images moderne nécessite un modèle unique qui unifie diverses capacités, notamment la génération texte-vers-image (T2I), l'édition locale et l'édition globale. Cependant, ces capacités sont rarement naturellement alignées et entrent souvent en conflit. Par exemple, l'édition tend à dégrader les performances T2I, tandis que l'édition globale et locale interfèrent entre elles. Par conséquent, la composition efficace de ces capacités est devenue un défi central pour l'entraînement des modèles de génération d'images. Pour y remédier, nous introduisons DanceOPD, un cadre de distillation de champ génératif on-policy pour les modèles de flow-matching, qui achemine chaque échantillon vers un champ de capacité, interroge un état induit par l'étudiant à faible bruit, et s'entraîne avec un simple objectif MSE de vélocité. Chaque source de capacité étant définie comme un champ de vélocité sur l'espace d'état de flux partagé, l'étudiant apprend à partir des champs interrogés sur ses propres états de rollout pour composer les capacités des experts. Cette formulation intègre également des champs définis par l'opérateur, tels que le guidage sans classifieur. Des expériences complètes sur T2I, l'édition, l'absorption de champ de réalisme et l'absorption de CFG montrent que notre approche améliore la composition multi-capacités, renforçant les capacités cibles tout en préservant la qualité de génération d'ancrage. Nous croyons que ce travail établit une voie pratique pour la distillation de champ génératif dans les modèles de flow-matching.

English

Modern image generation demands a single model that unifies diverse capabilities, including text-to-image (T2I), local editing, and global editing. However, these capabilities are rarely naturally aligned and often conflict. For instance, editing tends to degrade T2I performance, while global and local editing interfere with each other. Consequently, effectively composing these capabilities has become a central challenge for image generation model training. To tackle this, we introduce DanceOPD, an on-policy generative field distillation framework for flow-matching models that routes each sample to one capability field, queries one low-noise student-induced state, and trains with a simple velocity MSE objective. With each capability source defined as a velocity field over the shared flow state space, the student learns from fields queried on its own rollout states to compose expert capabilities. This formulation also absorbs operator-defined fields such as classifier-free guidance. Comprehensive experiments on T2I, editing, realism-field absorption, and CFG absorption show that our approach improves multi-capability composition, strengthening target capabilities while preserving anchor generation quality. We believe this work establishes a practical route for generative field distillation in flow-matching models.