LoRA en Contexto para Transformadores de Difusión

In-Context LoRA for Diffusion Transformers

October 31, 2024

Autores: Lianghua Huang, Wei Wang, Zhi-Fan Wu, Yupeng Shi, Huanzhang Dou, Chen Liang, Yutong Feng, Yu Liu, Jingren Zhou

cs.AI

Resumen

Investigaciones recientes arXiv:2410.15027 han explorado el uso de transformadores de difusión (DiTs) para la generación de imágenes sin tarea específica mediante la simple concatenación de tokens de atención en imágenes. Sin embargo, a pesar de los recursos computacionales sustanciales, la fidelidad de las imágenes generadas sigue siendo subóptima. En este estudio, reevaluamos y optimizamos este marco teórico al hipotetizar que los DiTs de texto a imagen poseen inherentemente capacidades de generación contextual, que solo requieren ajustes mínimos para activarse. A través de diversos experimentos de tarea, demostramos cualitativamente que los DiTs de texto a imagen existentes pueden realizar eficazmente generación contextual sin ningún ajuste. Basándonos en esta idea, proponemos un flujo de trabajo notablemente simple para aprovechar las capacidades contextuales de los DiTs: (1) concatenar imágenes en lugar de tokens, (2) realizar subtitulado conjunto de múltiples imágenes y (3) aplicar ajustes LoRA específicos de la tarea utilizando conjuntos de datos pequeños (por ejemplo, 20 a 100 muestras) en lugar de ajustes de parámetros completos con conjuntos de datos grandes. Nombramos a nuestros modelos In-Context LoRA (IC-LoRA). Este enfoque no requiere modificaciones en los modelos DiT originales, solo cambios en los datos de entrenamiento. Notablemente, nuestro flujo de trabajo genera conjuntos de imágenes de alta fidelidad que se adhieren mejor a las indicaciones. Si bien es específico de la tarea en términos de ajuste de datos, nuestro marco teórico sigue siendo agnóstico a la tarea en arquitectura y flujo de trabajo, ofreciendo una herramienta potente para la comunidad y proporcionando ideas valiosas para investigaciones futuras sobre sistemas de generación agnósticos a la tarea a nivel de producto. Publicamos nuestro código, datos y modelos en https://github.com/ali-vilab/In-Context-LoRA

English

Recent research arXiv:2410.15027 has explored the use of diffusion transformers (DiTs) for task-agnostic image generation by simply concatenating attention tokens across images. However, despite substantial computational resources, the fidelity of the generated images remains suboptimal. In this study, we reevaluate and streamline this framework by hypothesizing that text-to-image DiTs inherently possess in-context generation capabilities, requiring only minimal tuning to activate them. Through diverse task experiments, we qualitatively demonstrate that existing text-to-image DiTs can effectively perform in-context generation without any tuning. Building on this insight, we propose a remarkably simple pipeline to leverage the in-context abilities of DiTs: (1) concatenate images instead of tokens, (2) perform joint captioning of multiple images, and (3) apply task-specific LoRA tuning using small datasets (e.g., 20sim 100 samples) instead of full-parameter tuning with large datasets. We name our models In-Context LoRA (IC-LoRA). This approach requires no modifications to the original DiT models, only changes to the training data. Remarkably, our pipeline generates high-fidelity image sets that better adhere to prompts. While task-specific in terms of tuning data, our framework remains task-agnostic in architecture and pipeline, offering a powerful tool for the community and providing valuable insights for further research on product-level task-agnostic generation systems. We release our code, data, and models at https://github.com/ali-vilab/In-Context-LoRA