LoRA em Contexto para Transformadores de Difusão

In-Context LoRA for Diffusion Transformers

October 31, 2024

Autores: Lianghua Huang, Wei Wang, Zhi-Fan Wu, Yupeng Shi, Huanzhang Dou, Chen Liang, Yutong Feng, Yu Liu, Jingren Zhou

cs.AI

Resumo

Uma pesquisa recente arXiv:2410.15027 explorou o uso de transformadores de difusão (DiTs) para geração de imagens sem tarefa específica, simplesmente concatenando tokens de atenção em imagens. No entanto, apesar dos recursos computacionais substanciais, a fidelidade das imagens geradas permanece subótima. Neste estudo, reavaliamos e otimizamos esse framework ao hipotetizar que os DiTs de texto para imagem possuem inerentemente capacidades de geração contextual, exigindo apenas ajustes mínimos para ativá-los. Através de experimentos de tarefas diversos, demonstramos qualitativamente que os DiTs de texto para imagem existentes podem realizar efetivamente a geração contextual sem nenhum ajuste. Com base nessa percepção, propomos um pipeline incrivelmente simples para alavancar as habilidades de contexto dos DiTs: (1) concatenar imagens em vez de tokens, (2) realizar legendas conjuntas de múltiplas imagens e (3) aplicar ajustes LoRA específicos da tarefa usando conjuntos de dados pequenos (por exemplo, 20sim 100 amostras) em vez de ajustes de parâmetros completos com conjuntos de dados grandes. Nomeamos nossos modelos de LoRA de Contexto (IC-LoRA). Esta abordagem não requer modificações nos modelos DiT originais, apenas alterações nos dados de treinamento. Notavelmente, nosso pipeline gera conjuntos de imagens de alta fidelidade que seguem melhor as instruções. Embora específico para tarefas em termos de ajuste de dados, nosso framework permanece agnóstico em relação à arquitetura e ao pipeline, oferecendo uma ferramenta poderosa para a comunidade e fornecendo insights valiosos para pesquisas futuras em sistemas de geração agnósticos em nível de produto. Disponibilizamos nosso código, dados e modelos em https://github.com/ali-vilab/In-Context-LoRA

English

Recent research arXiv:2410.15027 has explored the use of diffusion transformers (DiTs) for task-agnostic image generation by simply concatenating attention tokens across images. However, despite substantial computational resources, the fidelity of the generated images remains suboptimal. In this study, we reevaluate and streamline this framework by hypothesizing that text-to-image DiTs inherently possess in-context generation capabilities, requiring only minimal tuning to activate them. Through diverse task experiments, we qualitatively demonstrate that existing text-to-image DiTs can effectively perform in-context generation without any tuning. Building on this insight, we propose a remarkably simple pipeline to leverage the in-context abilities of DiTs: (1) concatenate images instead of tokens, (2) perform joint captioning of multiple images, and (3) apply task-specific LoRA tuning using small datasets (e.g., 20sim 100 samples) instead of full-parameter tuning with large datasets. We name our models In-Context LoRA (IC-LoRA). This approach requires no modifications to the original DiT models, only changes to the training data. Remarkably, our pipeline generates high-fidelity image sets that better adhere to prompts. While task-specific in terms of tuning data, our framework remains task-agnostic in architecture and pipeline, offering a powerful tool for the community and providing valuable insights for further research on product-level task-agnostic generation systems. We release our code, data, and models at https://github.com/ali-vilab/In-Context-LoRA