ChatDiT : Une référence sans entraînement pour le chat libre de forme agnostique de tâche avec des transformateurs de diffusion

ChatDiT: A Training-Free Baseline for Task-Agnostic Free-Form Chatting with Diffusion Transformers

December 17, 2024

Auteurs: Lianghua Huang, Wei Wang, Zhi-Fan Wu, Yupeng Shi, Chen Liang, Tong Shen, Han Zhang, Huanzhang Dou, Yu Liu, Jingren Zhou

cs.AI

Résumé

Des recherches récentes arXiv:2410.15027 arXiv:2410.23775 ont mis en lumière les capacités intrinsèques de génération en contexte des transformateurs de diffusion pré-entraînés (DiTs), leur permettant de s'adapter de manière transparente à diverses tâches visuelles avec des modifications architecturales minimales ou nulles. Ces capacités sont débloquées en concaténant des jetons d'auto-attention à travers plusieurs images d'entrée et cibles, combinées avec des pipelines de génération groupés et masqués. En s'appuyant sur cette base, nous présentons ChatDiT, un cadre de génération visuelle interactif, généraliste et sans réglage qui exploite les transformateurs de diffusion pré-entraînés dans leur forme originale, ne nécessitant aucun réglage supplémentaire, adaptateurs ou modifications. Les utilisateurs peuvent interagir avec ChatDiT pour créer des articles texte-image entrelacés, des livres d'images multi-pages, éditer des images, concevoir des dérivés de PI ou développer des paramètres de conception de personnages, le tout à travers un langage naturel libre sur un ou plusieurs tours de conversation. Au cœur de ChatDiT se trouve un système multi-agent comprenant trois composants clés : un agent d'analyse d'instructions qui interprète les images et instructions téléchargées par l'utilisateur, un agent de planification de stratégie qui conçoit des actions de génération en une seule étape ou multi-étapes, et un agent d'exécution qui effectue ces actions en utilisant une boîte à outils en contexte de transformateurs de diffusion. Nous évaluons en détail ChatDiT sur IDEA-Bench arXiv:2412.11767, comprenant 100 tâches de conception du monde réel et 275 cas avec des instructions diverses et des nombres variables d'images d'entrée et cibles. Malgré sa simplicité et son approche sans entraînement, ChatDiT surpasse tous les concurrents, y compris ceux spécifiquement conçus et entraînés sur des ensembles de données multi-tâches étendus. Nous identifions en outre les limitations clés des DiTs pré-entraînés dans leur adaptation sans réglage aux tâches. Nous mettons à disposition tout le code, les agents, les résultats et les sorties intermédiaires pour faciliter de nouvelles recherches sur https://github.com/ali-vilab/ChatDiT

English

Recent research arXiv:2410.15027 arXiv:2410.23775 has highlighted the inherent in-context generation capabilities of pretrained diffusion transformers (DiTs), enabling them to seamlessly adapt to diverse visual tasks with minimal or no architectural modifications. These capabilities are unlocked by concatenating self-attention tokens across multiple input and target images, combined with grouped and masked generation pipelines. Building upon this foundation, we present ChatDiT, a zero-shot, general-purpose, and interactive visual generation framework that leverages pretrained diffusion transformers in their original form, requiring no additional tuning, adapters, or modifications. Users can interact with ChatDiT to create interleaved text-image articles, multi-page picture books, edit images, design IP derivatives, or develop character design settings, all through free-form natural language across one or more conversational rounds. At its core, ChatDiT employs a multi-agent system comprising three key components: an Instruction-Parsing agent that interprets user-uploaded images and instructions, a Strategy-Planning agent that devises single-step or multi-step generation actions, and an Execution agent that performs these actions using an in-context toolkit of diffusion transformers. We thoroughly evaluate ChatDiT on IDEA-Bench arXiv:2412.11767, comprising 100 real-world design tasks and 275 cases with diverse instructions and varying numbers of input and target images. Despite its simplicity and training-free approach, ChatDiT surpasses all competitors, including those specifically designed and trained on extensive multi-task datasets. We further identify key limitations of pretrained DiTs in zero-shot adapting to tasks. We release all code, agents, results, and intermediate outputs to facilitate further research at https://github.com/ali-vilab/ChatDiT