Composizione di oggetti modificabile nella geometria e preservante l'aspetto

Geometry-Editable and Appearance-Preserving Object Compositon

May 27, 2025

Autori: Jianman Lin, Haojie Li, Chunmei Qing, Zhijing Yang, Liang Lin, Tianshui Chen

cs.AI

Abstract

La composizione generale di oggetti (GOC) mira a integrare in modo fluido un oggetto target in una scena di sfondo con proprietà geometriche desiderate, preservando simultaneamente i dettagli fini del suo aspetto. Gli approcci recenti derivano incorporamenti semantici e li integrano in modelli di diffusione avanzati per abilitare la generazione con geometria modificabile. Tuttavia, questi incorporamenti altamente compatti codificano solo indizi semantici di alto livello e inevitabilmente scartano i dettagli fini dell'aspetto. Introduciamo un modello di diffusione con Geometria Modificabile e Aspetto Preservato Disaccoppiato (DGAD) che sfrutta prima gli incorporamenti semantici per catturare implicitamente le trasformazioni geometriche desiderate e poi utilizza un meccanismo di recupero basato su cross-attention per allineare le caratteristiche fini dell'aspetto con la rappresentazione modificata geometricamente, facilitando sia la modifica precisa della geometria che la preservazione fedele dell'aspetto nella composizione degli oggetti. Nello specifico, DGAD si basa su reti derivate da CLIP/DINO e su reti di riferimento per estrarre incorporamenti semantici e rappresentazioni che preservano l'aspetto, che vengono poi integrati in modo disaccoppiato nelle pipeline di codifica e decodifica. Integriamo prima gli incorporamenti semantici in modelli di diffusione pre-addestrati che mostrano forti capacità di ragionamento spaziale per catturare implicitamente la geometria degli oggetti, facilitando così la manipolazione flessibile degli oggetti e garantendo un'effettiva modificabilità. Successivamente, progettiamo un meccanismo di cross-attention denso che sfrutta la geometria degli oggetti appresa implicitamente per recuperare e allineare spazialmente le caratteristiche dell'aspetto con le loro regioni corrispondenti, garantendo una fedele coerenza dell'aspetto. Esperimenti estesi su benchmark pubblici dimostrano l'efficacia del framework DGAD proposto.

English

General object composition (GOC) aims to seamlessly integrate a target object into a background scene with desired geometric properties, while simultaneously preserving its fine-grained appearance details. Recent approaches derive semantic embeddings and integrate them into advanced diffusion models to enable geometry-editable generation. However, these highly compact embeddings encode only high-level semantic cues and inevitably discard fine-grained appearance details. We introduce a Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD) model that first leverages semantic embeddings to implicitly capture the desired geometric transformations and then employs a cross-attention retrieval mechanism to align fine-grained appearance features with the geometry-edited representation, facilitating both precise geometry editing and faithful appearance preservation in object composition. Specifically, DGAD builds on CLIP/DINO-derived and reference networks to extract semantic embeddings and appearance-preserving representations, which are then seamlessly integrated into the encoding and decoding pipelines in a disentangled manner. We first integrate the semantic embeddings into pre-trained diffusion models that exhibit strong spatial reasoning capabilities to implicitly capture object geometry, thereby facilitating flexible object manipulation and ensuring effective editability. Then, we design a dense cross-attention mechanism that leverages the implicitly learned object geometry to retrieve and spatially align appearance features with their corresponding regions, ensuring faithful appearance consistency. Extensive experiments on public benchmarks demonstrate the effectiveness of the proposed DGAD framework.