DoraCycle: Adaptação Orientada a Domínio de Modelo Generativo Unificado em Ciclos Multimodais

DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles

March 5, 2025

Autores: Rui Zhao, Weijia Mao, Mike Zheng Shou

cs.AI

Resumo

A adaptação de modelos generativos a domínios específicos apresenta uma solução eficaz para atender a requisitos especializados. No entanto, a adaptação a alguns domínios complexos continua desafiadora, especialmente quando esses domínios exigem dados pareados substanciais para capturar as distribuições alvo. Como dados não pareados de uma única modalidade, como visão ou linguagem, estão mais facilmente disponíveis, utilizamos os mapeamentos bidirecionais entre visão e linguagem aprendidos pelo modelo generativo unificado para permitir o treinamento com dados não pareados para adaptação de domínio. Especificamente, propomos o DoraCycle, que integra dois ciclos multimodais: texto-para-imagem-para-texto e imagem-para-texto-para-imagem. O modelo é otimizado por meio da perda de entropia cruzada calculada nos pontos finais do ciclo, onde ambos os pontos finais compartilham a mesma modalidade. Isso facilita a auto-evolução do modelo sem depender de pares de texto-imagem anotados. Resultados experimentais demonstram que, para tarefas independentes de conhecimento pareado, como estilização, o DoraCycle pode efetivamente adaptar o modelo unificado usando apenas dados não pareados. Para tarefas que envolvem novo conhecimento pareado, como identidades específicas, uma combinação de um pequeno conjunto de exemplos de pares imagem-texto e dados não pareados em larga escala é suficiente para uma adaptação orientada ao domínio eficaz. O código será liberado em https://github.com/showlab/DoraCycle.

English

Adapting generative models to specific domains presents an effective solution for satisfying specialized requirements. However, adapting to some complex domains remains challenging, especially when these domains require substantial paired data to capture the targeted distributions. Since unpaired data from a single modality, such as vision or language, is more readily available, we utilize the bidirectional mappings between vision and language learned by the unified generative model to enable training on unpaired data for domain adaptation. Specifically, we propose DoraCycle, which integrates two multimodal cycles: text-to-image-to-text and image-to-text-to-image. The model is optimized through cross-entropy loss computed at the cycle endpoints, where both endpoints share the same modality. This facilitates self-evolution of the model without reliance on annotated text-image pairs. Experimental results demonstrate that for tasks independent of paired knowledge, such as stylization, DoraCycle can effectively adapt the unified model using only unpaired data. For tasks involving new paired knowledge, such as specific identities, a combination of a small set of paired image-text examples and larger-scale unpaired data is sufficient for effective domain-oriented adaptation. The code will be released at https://github.com/showlab/DoraCycle.