Geometrie-editierbare und erscheinungserhaltende Objektkomposition

Geometry-Editable and Appearance-Preserving Object Compositon

May 27, 2025

Autoren: Jianman Lin, Haojie Li, Chunmei Qing, Zhijing Yang, Liang Lin, Tianshui Chen

cs.AI

Zusammenfassung

Die allgemeine Objektkomposition (General Object Composition, GOC) zielt darauf ab, ein Zielobjekt nahtlos in eine Hintergrundszene mit gewünschten geometrischen Eigenschaften zu integrieren, während gleichzeitig seine fein abgestuften Erscheinungsdetails erhalten bleiben. Aktuelle Ansätze leiten semantische Embeddings ab und integrieren sie in fortschrittliche Diffusionsmodelle, um eine geometrie-editierbare Generierung zu ermöglichen. Diese hochkompakten Embeddings kodieren jedoch nur hochrangige semantische Hinweise und verlieren zwangsläufig fein abgestufte Erscheinungsdetails. Wir stellen ein Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD)-Modell vor, das zunächst semantische Embeddings nutzt, um die gewünschten geometrischen Transformationen implizit zu erfassen, und dann einen Cross-Attention-Retrieval-Mechanismus einsetzt, um fein abgestufte Erscheinungsmerkmale mit der geometrie-editierten Darstellung auszurichten. Dies ermöglicht sowohl präzise Geometriebearbeitung als auch treue Erhaltung des Erscheinungsbilds bei der Objektkomposition. Konkret baut DGAD auf CLIP/DINO-abgeleiteten und Referenznetzwerken auf, um semantische Embeddings und erscheinungserhaltende Repräsentationen zu extrahieren, die dann auf entkoppelte Weise nahtlos in die Encoder- und Decoder-Pipelines integriert werden. Zunächst integrieren wir die semantischen Embeddings in vortrainierte Diffusionsmodelle, die starke räumliche Schlussfolgerungsfähigkeiten aufweisen, um die Objektgeometrie implizit zu erfassen und so flexible Objektmanipulationen zu ermöglichen und eine effektive Editierbarkeit sicherzustellen. Anschließend entwerfen wir einen dichten Cross-Attention-Mechanismus, der die implizit gelernte Objektgeometrie nutzt, um Erscheinungsmerkmale abzurufen und räumlich mit ihren entsprechenden Regionen auszurichten, wodurch eine treue Erscheinungskonsistenz gewährleistet wird. Umfangreiche Experimente auf öffentlichen Benchmarks demonstrieren die Wirksamkeit des vorgeschlagenen DGAD-Frameworks.

English

General object composition (GOC) aims to seamlessly integrate a target object into a background scene with desired geometric properties, while simultaneously preserving its fine-grained appearance details. Recent approaches derive semantic embeddings and integrate them into advanced diffusion models to enable geometry-editable generation. However, these highly compact embeddings encode only high-level semantic cues and inevitably discard fine-grained appearance details. We introduce a Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD) model that first leverages semantic embeddings to implicitly capture the desired geometric transformations and then employs a cross-attention retrieval mechanism to align fine-grained appearance features with the geometry-edited representation, facilitating both precise geometry editing and faithful appearance preservation in object composition. Specifically, DGAD builds on CLIP/DINO-derived and reference networks to extract semantic embeddings and appearance-preserving representations, which are then seamlessly integrated into the encoding and decoding pipelines in a disentangled manner. We first integrate the semantic embeddings into pre-trained diffusion models that exhibit strong spatial reasoning capabilities to implicitly capture object geometry, thereby facilitating flexible object manipulation and ensuring effective editability. Then, we design a dense cross-attention mechanism that leverages the implicitly learned object geometry to retrieve and spatially align appearance features with their corresponding regions, ensuring faithful appearance consistency. Extensive experiments on public benchmarks demonstrate the effectiveness of the proposed DGAD framework.