DoraCycle: Domeingerichte Adaptatie van een Verenigd Generatief Model in Multimodale Cycli

DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles

March 5, 2025

Auteurs: Rui Zhao, Weijia Mao, Mike Zheng Shou

cs.AI

Samenvatting

Het aanpassen van generatieve modellen aan specifieke domeinen biedt een effectieve oplossing voor het vervullen van gespecialiseerde vereisten. Het aanpassen aan sommige complexe domeinen blijft echter een uitdaging, vooral wanneer deze domeinen aanzienlijke gepaarde gegevens vereisen om de beoogde distributies vast te leggen. Aangezien ongepaarde gegevens van een enkele modaliteit, zoals visie of taal, gemakkelijker beschikbaar zijn, maken we gebruik van de bidirectionele mapping tussen visie en taal die wordt geleerd door het verenigde generatieve model om training op ongepaarde gegevens voor domeinaanpassing mogelijk te maken. Specifiek stellen we DoraCycle voor, dat twee multimodale cycli integreert: tekst-naar-beeld-naar-tekst en beeld-naar-tekst-naar-beeld. Het model wordt geoptimaliseerd door middel van kruisingsentropieverlies berekend aan de eindpunten van de cyclus, waar beide eindpunten dezelfde modaliteit delen. Dit vergemakkelijkt de zelfontwikkeling van het model zonder afhankelijkheid van geannoteerde tekst-beeldparen. Experimentele resultaten tonen aan dat voor taken die onafhankelijk zijn van gepaarde kennis, zoals stilisering, DoraCycle het verenigde model effectief kan aanpassen met alleen ongepaarde gegevens. Voor taken die nieuwe gepaarde kennis betreffen, zoals specifieke identiteiten, is een combinatie van een kleine set gepaarde beeld-tekstvoorbeelden en grootschalige ongepaarde gegevens voldoende voor effectieve domeingerichte aanpassing. De code zal worden vrijgegeven op https://github.com/showlab/DoraCycle.

English

Adapting generative models to specific domains presents an effective solution for satisfying specialized requirements. However, adapting to some complex domains remains challenging, especially when these domains require substantial paired data to capture the targeted distributions. Since unpaired data from a single modality, such as vision or language, is more readily available, we utilize the bidirectional mappings between vision and language learned by the unified generative model to enable training on unpaired data for domain adaptation. Specifically, we propose DoraCycle, which integrates two multimodal cycles: text-to-image-to-text and image-to-text-to-image. The model is optimized through cross-entropy loss computed at the cycle endpoints, where both endpoints share the same modality. This facilitates self-evolution of the model without reliance on annotated text-image pairs. Experimental results demonstrate that for tasks independent of paired knowledge, such as stylization, DoraCycle can effectively adapt the unified model using only unpaired data. For tasks involving new paired knowledge, such as specific identities, a combination of a small set of paired image-text examples and larger-scale unpaired data is sufficient for effective domain-oriented adaptation. The code will be released at https://github.com/showlab/DoraCycle.