DoraCycle: Adattamento Orientato al Dominio del Modello Generativo Unificato in Cicli Multimodali

DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles

March 5, 2025

Autori: Rui Zhao, Weijia Mao, Mike Zheng Shou

cs.AI

Abstract

L'adattamento di modelli generativi a domini specifici rappresenta una soluzione efficace per soddisfare requisiti specializzati. Tuttavia, l'adattamento ad alcuni domini complessi rimane impegnativo, specialmente quando questi domini richiedono una quantità sostanziale di dati accoppiati per catturare le distribuzioni target. Poiché i dati non accoppiati provenienti da una singola modalità, come la visione o il linguaggio, sono più facilmente disponibili, sfruttiamo le mappature bidirezionali tra visione e linguaggio apprese dal modello generativo unificato per abilitare l'addestramento su dati non accoppiati per l'adattamento di dominio. Nello specifico, proponiamo DoraCycle, che integra due cicli multimodali: testo-immagine-testo e immagine-testo-immagine. Il modello è ottimizzato attraverso la perdita di entropia incrociata calcolata agli estremi del ciclo, dove entrambi gli estremi condividono la stessa modalità. Ciò facilita l'auto-evoluzione del modello senza fare affidamento su coppie annotate di testo-immagine. I risultati sperimentali dimostrano che per compiti indipendenti dalla conoscenza accoppiata, come la stilizzazione, DoraCycle può adattare efficacemente il modello unificato utilizzando solo dati non accoppiati. Per compiti che coinvolgono nuove conoscenze accoppiate, come identità specifiche, una combinazione di un piccolo insieme di esempi accoppiati di immagini-testo e dati non accoppiati su larga scala è sufficiente per un efficace adattamento orientato al dominio. Il codice sarà rilasciato su https://github.com/showlab/DoraCycle.

English

Adapting generative models to specific domains presents an effective solution for satisfying specialized requirements. However, adapting to some complex domains remains challenging, especially when these domains require substantial paired data to capture the targeted distributions. Since unpaired data from a single modality, such as vision or language, is more readily available, we utilize the bidirectional mappings between vision and language learned by the unified generative model to enable training on unpaired data for domain adaptation. Specifically, we propose DoraCycle, which integrates two multimodal cycles: text-to-image-to-text and image-to-text-to-image. The model is optimized through cross-entropy loss computed at the cycle endpoints, where both endpoints share the same modality. This facilitates self-evolution of the model without reliance on annotated text-image pairs. Experimental results demonstrate that for tasks independent of paired knowledge, such as stylization, DoraCycle can effectively adapt the unified model using only unpaired data. For tasks involving new paired knowledge, such as specific identities, a combination of a small set of paired image-text examples and larger-scale unpaired data is sufficient for effective domain-oriented adaptation. The code will be released at https://github.com/showlab/DoraCycle.