В контексте LoRA для Диффузионных Трансформеров

In-Context LoRA for Diffusion Transformers

October 31, 2024

Авторы: Lianghua Huang, Wei Wang, Zhi-Fan Wu, Yupeng Shi, Huanzhang Dou, Chen Liang, Yutong Feng, Yu Liu, Jingren Zhou

cs.AI

Аннотация

Недавние исследования arXiv:2410.15027 исследовали использование диффузионных трансформеров (DiTs) для задачи-агностической генерации изображений путем простого конкатенирования внимательных токенов по всем изображениям. Однако, несмотря на значительные вычислительные ресурсы, качество сгенерированных изображений остается недостаточным. В данном исследовании мы переоцениваем и оптимизируем эту структуру, предполагая, что тексто-изображенческие DiTs по своей сути обладают возможностями генерации в контексте, требующими лишь минимальной настройки для их активации. Через разнообразные задачи экспериментов мы качественно демонстрируем, что существующие тексто-изображенческие DiTs могут эффективно выполнять генерацию в контексте без какой-либо настройки. Основываясь на этом понимании, мы предлагаем замечательно простой конвейер для использования возможностей в контексте DiTs: (1) конкатенировать изображения вместо токенов, (2) выполнять совместное описывание нескольких изображений и (3) применять настройку LoRA для задачи с использованием небольших наборов данных (например, 20-100 образцов) вместо настройки с полными параметрами на больших наборах данных. Мы называем наши модели In-Context LoRA (IC-LoRA). Данный подход не требует модификаций исходных моделей DiT, лишь изменений в обучающих данных. Замечательно, что наш конвейер генерирует наборы изображений высокого качества, лучше соответствующие запросам. Хотя наша структура остается задаче-специфичной в терминах данных настройки, она остается задаче-агностической по архитектуре и конвейеру, предлагая мощный инструмент для сообщества и предоставляя ценные идеи для дальнейших исследований в области систем генерации на уровне продукта, независимых от задачи. Мы публикуем наш код, данные и модели на https://github.com/ali-vilab/In-Context-LoRA.

English

Recent research arXiv:2410.15027 has explored the use of diffusion transformers (DiTs) for task-agnostic image generation by simply concatenating attention tokens across images. However, despite substantial computational resources, the fidelity of the generated images remains suboptimal. In this study, we reevaluate and streamline this framework by hypothesizing that text-to-image DiTs inherently possess in-context generation capabilities, requiring only minimal tuning to activate them. Through diverse task experiments, we qualitatively demonstrate that existing text-to-image DiTs can effectively perform in-context generation without any tuning. Building on this insight, we propose a remarkably simple pipeline to leverage the in-context abilities of DiTs: (1) concatenate images instead of tokens, (2) perform joint captioning of multiple images, and (3) apply task-specific LoRA tuning using small datasets (e.g., 20sim 100 samples) instead of full-parameter tuning with large datasets. We name our models In-Context LoRA (IC-LoRA). This approach requires no modifications to the original DiT models, only changes to the training data. Remarkably, our pipeline generates high-fidelity image sets that better adhere to prompts. While task-specific in terms of tuning data, our framework remains task-agnostic in architecture and pipeline, offering a powerful tool for the community and providing valuable insights for further research on product-level task-agnostic generation systems. We release our code, data, and models at https://github.com/ali-vilab/In-Context-LoRA