DoraCycle: Domänenorientierte Anpassung eines einheitlichen generativen Modells in multimodalen Zyklen

DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles

March 5, 2025

Autoren: Rui Zhao, Weijia Mao, Mike Zheng Shou

cs.AI

Zusammenfassung

Die Anpassung generativer Modelle an spezifische Domänen bietet eine effektive Lösung, um spezialisierte Anforderungen zu erfüllen. Die Anpassung an einige komplexe Domänen bleibt jedoch herausfordernd, insbesondere wenn diese Domänen erhebliche gepaarte Daten benötigen, um die Zielverteilungen zu erfassen. Da ungepaarte Daten aus einer einzelnen Modalität, wie Vision oder Sprache, leichter verfügbar sind, nutzen wir die bidirektionalen Abbildungen zwischen Vision und Sprache, die durch das vereinheitlichte generative Modell gelernt wurden, um das Training mit ungepaarten Daten für die Domänenanpassung zu ermöglichen. Konkret schlagen wir DoraCycle vor, das zwei multimodale Zyklen integriert: Text-zu-Bild-zu-Text und Bild-zu-Text-zu-Bild. Das Modell wird durch den Kreuzentropieverlust optimiert, der an den Zyklusendpunkten berechnet wird, wobei beide Endpunkte dieselbe Modalität teilen. Dies ermöglicht die Selbstentwicklung des Modells ohne Abhängigkeit von annotierten Text-Bild-Paaren. Experimentelle Ergebnisse zeigen, dass DoraCycle für Aufgaben, die unabhängig von gepaartem Wissen sind, wie Stilisierung, das vereinheitlichte Modell effektiv nur mit ungepaarten Daten anpassen kann. Für Aufgaben, die neues gepaartes Wissen beinhalten, wie spezifische Identitäten, ist eine Kombination aus einer kleinen Menge gepaarter Bild-Text-Beispiele und größeren Mengen ungepaarter Daten ausreichend, um eine effektive domänenorientierte Anpassung zu erreichen. Der Code wird unter https://github.com/showlab/DoraCycle veröffentlicht.

English

Adapting generative models to specific domains presents an effective solution for satisfying specialized requirements. However, adapting to some complex domains remains challenging, especially when these domains require substantial paired data to capture the targeted distributions. Since unpaired data from a single modality, such as vision or language, is more readily available, we utilize the bidirectional mappings between vision and language learned by the unified generative model to enable training on unpaired data for domain adaptation. Specifically, we propose DoraCycle, which integrates two multimodal cycles: text-to-image-to-text and image-to-text-to-image. The model is optimized through cross-entropy loss computed at the cycle endpoints, where both endpoints share the same modality. This facilitates self-evolution of the model without reliance on annotated text-image pairs. Experimental results demonstrate that for tasks independent of paired knowledge, such as stylization, DoraCycle can effectively adapt the unified model using only unpaired data. For tasks involving new paired knowledge, such as specific identities, a combination of a small set of paired image-text examples and larger-scale unpaired data is sufficient for effective domain-oriented adaptation. The code will be released at https://github.com/showlab/DoraCycle.