MOVIS: Verbetering van het synthetiseren van nieuwe weergaven van meerdere objecten voor binnenruimtes

MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

December 16, 2024

Auteurs: Ruijie Lu, Yixin Chen, Junfeng Ni, Baoxiong Jia, Yu Liu, Diwen Wan, Gang Zeng, Siyuan Huang

cs.AI

Samenvatting

Het hergebruiken van vooraf getrainde diffusiemodellen is effectief gebleken voor NVS. Deze methoden zijn echter voornamelijk beperkt tot een enkel object; het direct toepassen van dergelijke methoden op compositorische scenario's met meerdere objecten leidt tot inferieure resultaten, vooral onjuiste objectplaatsing en inconsistente vorm en verschijning onder nieuwe gezichtspunten. Hoe de cross-view consistentie van dergelijke modellen te verbeteren en systematisch te evalueren, blijft grotendeels onontgonnen terrein. Om dit probleem aan te pakken, stellen we MOVIS voor om het structurele bewustzijn van het op zicht gebaseerde diffusiemodel voor multi-object NVS te verbeteren op het gebied van modelinputs, hulptaken en trainingsstrategie. Ten eerste injecteren we structureel bewuste kenmerken, waaronder diepte en objectmasker, in de denoising U-Net om het begrip van objectinstanties en hun ruimtelijke relaties door het model te verbeteren. Ten tweede introduceren we een hulptaak waarbij het model tegelijkertijd nieuwe objectmaskers moet voorspellen, wat de capaciteit van het model om objecten te onderscheiden en te plaatsen verder verbetert. Tot slot voeren we een diepgaande analyse uit van het diffusie-samplingproces en ontwerpen zorgvuldig een op structuur gerichte tijdstapsamplingplanner tijdens de training, die het leren van globale objectplaatsing en gedetailleerde herstel in balans brengt. Om de plausibiliteit van gesynthetiseerde beelden systematisch te evalueren, stellen we voor om de cross-view consistentie en nieuwe objectplaatsing naast bestaande NVS-metrieken op beeldniveau te beoordelen. Uitgebreide experimenten op uitdagende synthetische en realistische datasets tonen aan dat onze methode sterke generalisatiecapaciteiten vertoont en consistente synthese van nieuwe gezichtspunten produceert, waarbij het potentieel wordt benadrukt om toekomstige 3D-bewuste multi-object NVS-taken te sturen.

English

Repurposing pre-trained diffusion models has been proven to be effective for NVS. However, these methods are mostly limited to a single object; directly applying such methods to compositional multi-object scenarios yields inferior results, especially incorrect object placement and inconsistent shape and appearance under novel views. How to enhance and systematically evaluate the cross-view consistency of such models remains under-explored. To address this issue, we propose MOVIS to enhance the structural awareness of the view-conditioned diffusion model for multi-object NVS in terms of model inputs, auxiliary tasks, and training strategy. First, we inject structure-aware features, including depth and object mask, into the denoising U-Net to enhance the model's comprehension of object instances and their spatial relationships. Second, we introduce an auxiliary task requiring the model to simultaneously predict novel view object masks, further improving the model's capability in differentiating and placing objects. Finally, we conduct an in-depth analysis of the diffusion sampling process and carefully devise a structure-guided timestep sampling scheduler during training, which balances the learning of global object placement and fine-grained detail recovery. To systematically evaluate the plausibility of synthesized images, we propose to assess cross-view consistency and novel view object placement alongside existing image-level NVS metrics. Extensive experiments on challenging synthetic and realistic datasets demonstrate that our method exhibits strong generalization capabilities and produces consistent novel view synthesis, highlighting its potential to guide future 3D-aware multi-object NVS tasks.