Eén Diffusie om Ze Allemaal te Genereren

One Diffusion to Generate Them All

November 25, 2024

Auteurs: Duong H. Le, Tuan Pham, Sangho Lee, Christopher Clark, Aniruddha Kembhavi, Stephan Mandt, Ranjay Krishna, Jiasen Lu

cs.AI

Samenvatting

We introduceren OneDiffusion, een veelzijdig, grootschalig diffusiemodel dat naadloos bidirectionele beeldsynthese en begrip ondersteunt over diverse taken. Het maakt conditionele generatie mogelijk vanuit invoer zoals tekst, diepte, pose, lay-out en semantische kaarten, terwijl het ook taken zoals beeldontblurring, upscaling en omgekeerde processen zoals diepteschatting en segmentatie behandelt. Daarnaast maakt OneDiffusion multi-view generatie, camera pose schatting en directe personalisatie mogelijk met behulp van opeenvolgende beeldinvoer. Ons model hanteert een eenvoudige maar effectieve benadering door alle taken te behandelen als frame-sequenties met variërende ruisniveaus tijdens training, waardoor elk frame kan fungeren als een conditioneel beeld tijdens inferentie. Ons verenigd trainingskader elimineert de noodzaak voor gespecialiseerde architecturen, ondersteunt schaalbare multi-taak training en past soepel aan bij elke resolutie, waardoor zowel generalisatie als schaalbaarheid worden verbeterd. Experimentele resultaten tonen competitieve prestaties over taken in zowel generatie als voorspelling, zoals tekst-naar-beeld, multi-view generatie, ID-behoud, diepteschatting en camera pose schatting ondanks een relatief kleine trainingsdataset. Onze code en checkpoint zijn vrij beschikbaar op https://github.com/lehduong/OneDiffusion

English

We introduce OneDiffusion, a versatile, large-scale diffusion model that seamlessly supports bidirectional image synthesis and understanding across diverse tasks. It enables conditional generation from inputs such as text, depth, pose, layout, and semantic maps, while also handling tasks like image deblurring, upscaling, and reverse processes such as depth estimation and segmentation. Additionally, OneDiffusion allows for multi-view generation, camera pose estimation, and instant personalization using sequential image inputs. Our model takes a straightforward yet effective approach by treating all tasks as frame sequences with varying noise scales during training, allowing any frame to act as a conditioning image at inference time. Our unified training framework removes the need for specialized architectures, supports scalable multi-task training, and adapts smoothly to any resolution, enhancing both generalization and scalability. Experimental results demonstrate competitive performance across tasks in both generation and prediction such as text-to-image, multiview generation, ID preservation, depth estimation and camera pose estimation despite relatively small training dataset. Our code and checkpoint are freely available at https://github.com/lehduong/OneDiffusion