DoraCycle : Adaptation orientée domaine d'un modèle génératif unifié dans des cycles multimodaux

DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles

March 5, 2025

Auteurs: Rui Zhao, Weijia Mao, Mike Zheng Shou

cs.AI

Résumé

L'adaptation des modèles génératifs à des domaines spécifiques constitue une solution efficace pour répondre à des exigences spécialisées. Cependant, l'adaptation à certains domaines complexes reste un défi, en particulier lorsque ces domaines nécessitent des données appariées substantielles pour capturer les distributions ciblées. Étant donné que les données non appariées issues d'une seule modalité, comme la vision ou le langage, sont plus facilement disponibles, nous exploitons les correspondances bidirectionnelles entre la vision et le langage apprises par le modèle génératif unifié pour permettre l'entraînement sur des données non appariées en vue de l'adaptation de domaine. Plus précisément, nous proposons DoraCycle, qui intègre deux cycles multimodaux : texte-à-image-à-texte et image-à-texte-à-image. Le modèle est optimisé via une perte d'entropie croisée calculée aux extrémités des cycles, où les deux extrémités partagent la même modalité. Cela facilite l'auto-évolution du modèle sans dépendre de paires texte-image annotées. Les résultats expérimentaux montrent que pour des tâches indépendantes de connaissances appariées, comme la stylisation, DoraCycle peut adapter efficacement le modèle unifié en utilisant uniquement des données non appariées. Pour les tâches impliquant de nouvelles connaissances appariées, comme des identités spécifiques, une combinaison d'un petit ensemble d'exemples image-texte appariés et de données non appariées à plus grande échelle est suffisante pour une adaptation orientée domaine efficace. Le code sera publié à l'adresse https://github.com/showlab/DoraCycle.

English

Adapting generative models to specific domains presents an effective solution for satisfying specialized requirements. However, adapting to some complex domains remains challenging, especially when these domains require substantial paired data to capture the targeted distributions. Since unpaired data from a single modality, such as vision or language, is more readily available, we utilize the bidirectional mappings between vision and language learned by the unified generative model to enable training on unpaired data for domain adaptation. Specifically, we propose DoraCycle, which integrates two multimodal cycles: text-to-image-to-text and image-to-text-to-image. The model is optimized through cross-entropy loss computed at the cycle endpoints, where both endpoints share the same modality. This facilitates self-evolution of the model without reliance on annotated text-image pairs. Experimental results demonstrate that for tasks independent of paired knowledge, such as stylization, DoraCycle can effectively adapt the unified model using only unpaired data. For tasks involving new paired knowledge, such as specific identities, a combination of a small set of paired image-text examples and larger-scale unpaired data is sufficient for effective domain-oriented adaptation. The code will be released at https://github.com/showlab/DoraCycle.