ChatDiT: Een trainingvrije basislijn voor taakagnostisch vrijvormig chatten met Diffusion Transformers.

Samenvatting

Recent onderzoek arXiv:2410.15027 arXiv:2410.23775 heeft de inherente in-context generatiemogelijkheden van vooraf getrainde diffusietransformatoren (DiTs) benadrukt, waardoor ze naadloos kunnen aanpassen aan diverse visuele taken met minimale of geen architectonische aanpassingen. Deze mogelijkheden worden ontsloten door zelfaandachtstokens over meerdere invoer- en doelafbeeldingen te concatenaten, gecombineerd met gegroepeerde en gemaskeerde generatiepijplijnen. Voortbouwend op deze basis presenteren we ChatDiT, een zero-shot, algemeen en interactief visueel generatiekader dat vooraf getrainde diffusietransformatoren in hun oorspronkelijke vorm benut, zonder extra afstemming, adapters of aanpassingen vereist. Gebruikers kunnen met ChatDiT communiceren om onderlinge tekst-afbeeldingsartikelen te maken, meerbladige prentenboeken, afbeeldingen te bewerken, IP-derivaten te ontwerpen of karakterontwerpinstellingen te ontwikkelen, allemaal via vrije natuurlijke taal over één of meer conversatierondes. In de kern maakt ChatDiT gebruik van een multi-agent systeem bestaande uit drie belangrijke componenten: een Instructie-Interpreterende agent die door de gebruiker geüploade afbeeldingen en instructies interpreteert, een Strategie-Planningsagent die enkelvoudige of meerstaps generatieacties bedenkt, en een Uitvoeringsagent die deze acties uitvoert met behulp van een in-context toolkit van diffusietransformatoren. We evalueren ChatDiT grondig op IDEA-Bench arXiv:2412.11767, bestaande uit 100 real-world ontwerptaken en 275 gevallen met diverse instructies en variërende aantallen invoer- en doelafbeeldingen. Ondanks zijn eenvoud en trainingvrije benadering overtreft ChatDiT alle concurrenten, inclusief die specifiek ontworpen en getraind op uitgebreide multi-task datasets. We identificeren verder belangrijke beperkingen van vooraf getrainde DiTs in zero-shot aanpassing aan taken. We publiceren alle code, agenten, resultaten en tussenliggende uitvoer om verder onderzoek te vergemakkelijken op https://github.com/ali-vilab/ChatDiT

English

Recent research arXiv:2410.15027 arXiv:2410.23775 has highlighted the inherent in-context generation capabilities of pretrained diffusion transformers (DiTs), enabling them to seamlessly adapt to diverse visual tasks with minimal or no architectural modifications. These capabilities are unlocked by concatenating self-attention tokens across multiple input and target images, combined with grouped and masked generation pipelines. Building upon this foundation, we present ChatDiT, a zero-shot, general-purpose, and interactive visual generation framework that leverages pretrained diffusion transformers in their original form, requiring no additional tuning, adapters, or modifications. Users can interact with ChatDiT to create interleaved text-image articles, multi-page picture books, edit images, design IP derivatives, or develop character design settings, all through free-form natural language across one or more conversational rounds. At its core, ChatDiT employs a multi-agent system comprising three key components: an Instruction-Parsing agent that interprets user-uploaded images and instructions, a Strategy-Planning agent that devises single-step or multi-step generation actions, and an Execution agent that performs these actions using an in-context toolkit of diffusion transformers. We thoroughly evaluate ChatDiT on IDEA-Bench arXiv:2412.11767, comprising 100 real-world design tasks and 275 cases with diverse instructions and varying numbers of input and target images. Despite its simplicity and training-free approach, ChatDiT surpasses all competitors, including those specifically designed and trained on extensive multi-task datasets. We further identify key limitations of pretrained DiTs in zero-shot adapting to tasks. We release all code, agents, results, and intermediate outputs to facilitate further research at https://github.com/ali-vilab/ChatDiT

ChatDiT: Een trainingvrije basislijn voor taakagnostisch vrijvormig chatten met Diffusion Transformers.

ChatDiT: A Training-Free Baseline for Task-Agnostic Free-Form Chatting with Diffusion Transformers

Samenvatting

Support