Geometrie-Bewerkbare en Uiterlijk-Behoudende Objectcompositie

Geometry-Editable and Appearance-Preserving Object Compositon

May 27, 2025

Auteurs: Jianman Lin, Haojie Li, Chunmei Qing, Zhijing Yang, Liang Lin, Tianshui Chen

cs.AI

Samenvatting

Algemene objectcompositie (GOC) heeft als doel een doelobject naadloos te integreren in een achtergrondscene met gewenste geometrische eigenschappen, terwijl tegelijkertijd de fijnmazige uiterlijke details behouden blijven. Recente benaderingen leiden semantische inbeddingen af en integreren deze in geavanceerde diffusiemodellen om geometrie-bewerkbare generatie mogelijk te maken. Deze sterk gecomprimeerde inbeddingen coderen echter alleen hoogwaardige semantische aanwijzingen en verliezen onvermijdelijk fijnmazige uiterlijke details. Wij introduceren een Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD) model dat eerst semantische inbeddingen benut om de gewenste geometrische transformaties impliciet vast te leggen en vervolgens een cross-attention retrieval-mechanisme gebruikt om fijnmazige uiterlijke kenmerken uit te lijnen met de geometrie-bewerkte representatie, waardoor zowel precieze geometriebewerking als getrouwe uiterlijke behoud in objectcompositie mogelijk wordt. Specifiek bouwt DGAD voort op CLIP/DINO-afgeleide en referentienetwerken om semantische inbeddingen en uiterlijk-behoudende representaties te extraheren, die vervolgens naadloos worden geïntegreerd in de coderings- en decoderingspijplijnen op een ontvlochten manier. We integreren eerst de semantische inbeddingen in vooraf getrainde diffusiemodellen die sterke ruimtelijke redeneervaardigheden vertonen om objectgeometrie impliciet vast te leggen, waardoor flexibele objectmanipulatie wordt gefaciliteerd en effectieve bewerkbaarheid wordt gegarandeerd. Vervolgens ontwerpen we een dicht cross-attention-mechanisme dat gebruikmaakt van de impliciet geleerde objectgeometrie om uiterlijke kenmerken op te halen en ruimtelijk uit te lijnen met hun corresponderende regio's, waardoor getrouwe uiterlijke consistentie wordt gewaarborgd. Uitgebreide experimenten op openbare benchmarks demonstreren de effectiviteit van het voorgestelde DGAD-framework.

English

General object composition (GOC) aims to seamlessly integrate a target object into a background scene with desired geometric properties, while simultaneously preserving its fine-grained appearance details. Recent approaches derive semantic embeddings and integrate them into advanced diffusion models to enable geometry-editable generation. However, these highly compact embeddings encode only high-level semantic cues and inevitably discard fine-grained appearance details. We introduce a Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD) model that first leverages semantic embeddings to implicitly capture the desired geometric transformations and then employs a cross-attention retrieval mechanism to align fine-grained appearance features with the geometry-edited representation, facilitating both precise geometry editing and faithful appearance preservation in object composition. Specifically, DGAD builds on CLIP/DINO-derived and reference networks to extract semantic embeddings and appearance-preserving representations, which are then seamlessly integrated into the encoding and decoding pipelines in a disentangled manner. We first integrate the semantic embeddings into pre-trained diffusion models that exhibit strong spatial reasoning capabilities to implicitly capture object geometry, thereby facilitating flexible object manipulation and ensuring effective editability. Then, we design a dense cross-attention mechanism that leverages the implicitly learned object geometry to retrieve and spatially align appearance features with their corresponding regions, ensuring faithful appearance consistency. Extensive experiments on public benchmarks demonstrate the effectiveness of the proposed DGAD framework.