ZeroComp: Zero-Shot-Objekt-Komposition aus Bildintrinsik über Diffusion

ZeroComp: Zero-shot Object Compositing from Image Intrinsics via Diffusion

October 10, 2024

Autoren: Zitian Zhang, Frédéric Fortier-Chouinard, Mathieu Garon, Anand Bhattad, Jean-François Lalonde

cs.AI

Zusammenfassung

Wir präsentieren ZeroComp, einen effektiven Zero-Shot 3D-Objekt-Compositing-Ansatz, der keine gepaarten Composite-Szenen-Bilder während des Trainings erfordert. Unsere Methode nutzt ControlNet, um von intrinsischen Bildern abhängig zu machen, und kombiniert dies mit einem Stabilen Diffusionsmodell, um dessen Szenenprioritäten zu nutzen, die zusammen als effektiver Rendering-Engine fungieren. Während des Trainings verwendet ZeroComp intrinsische Bilder basierend auf Geometrie, Albedo und maskiertem Shading, alles ohne die Notwendigkeit von gepaarten Bildern von Szenen mit und ohne zusammengesetzte Objekte. Sobald trainiert, integriert es nahtlos virtuelle 3D-Objekte in Szenen, passt das Shading an, um realistische Composites zu erstellen. Wir haben einen hochwertigen Evaluierungsdatensatz entwickelt und zeigen, dass ZeroComp Methoden, die explizite Beleuchtungsschätzungen und generative Techniken verwenden, in quantitativen und menschlichen Wahrnehmungs-Benchmarks übertrifft. Darüber hinaus erstreckt sich ZeroComp auf reale und Outdoor-Bildkompositionen, selbst wenn es ausschließlich auf synthetischen Indoor-Daten trainiert wurde, was seine Effektivität in der Bildkomposition zeigt.

English

We present ZeroComp, an effective zero-shot 3D object compositing approach that does not require paired composite-scene images during training. Our method leverages ControlNet to condition from intrinsic images and combines it with a Stable Diffusion model to utilize its scene priors, together operating as an effective rendering engine. During training, ZeroComp uses intrinsic images based on geometry, albedo, and masked shading, all without the need for paired images of scenes with and without composite objects. Once trained, it seamlessly integrates virtual 3D objects into scenes, adjusting shading to create realistic composites. We developed a high-quality evaluation dataset and demonstrate that ZeroComp outperforms methods using explicit lighting estimations and generative techniques in quantitative and human perception benchmarks. Additionally, ZeroComp extends to real and outdoor image compositing, even when trained solely on synthetic indoor data, showcasing its effectiveness in image compositing.