Composição de Objetos com Edição de Geometria e Preservação de Aparência

Geometry-Editable and Appearance-Preserving Object Compositon

May 27, 2025

Autores: Jianman Lin, Haojie Li, Chunmei Qing, Zhijing Yang, Liang Lin, Tianshui Chen

cs.AI

Resumo

A composição geral de objetos (GOC, na sigla em inglês) visa integrar de forma contínua um objeto alvo em uma cena de fundo com propriedades geométricas desejadas, ao mesmo tempo em que preserva seus detalhes de aparência em nível fino. Abordagens recentes derivam embeddings semânticos e os integram em modelos avançados de difusão para permitir gerações editáveis em termos de geometria. No entanto, esses embeddings altamente compactos codificam apenas pistas semânticas de alto nível e, inevitavelmente, descartam detalhes de aparência em nível fino. Introduzimos um modelo de Difusão com Edição de Geometria Desacoplada e Preservação de Aparência (DGAD, na sigla em inglês) que primeiro aproveita embeddings semânticos para capturar implicitamente as transformações geométricas desejadas e, em seguida, emprega um mecanismo de recuperação por atenção cruzada para alinhar características de aparência em nível fino com a representação editada geometricamente, facilitando tanto a edição precisa da geometria quanto a preservação fiel da aparência na composição de objetos. Especificamente, o DGAD se baseia em redes derivadas de CLIP/DINO e redes de referência para extrair embeddings semânticos e representações que preservam a aparência, que são então integradas de forma desacoplada nos pipelines de codificação e decodificação. Primeiro, integramos os embeddings semânticos em modelos de difusão pré-treinados que exibem fortes capacidades de raciocínio espacial para capturar implicitamente a geometria do objeto, facilitando assim a manipulação flexível do objeto e garantindo uma editabilidade eficaz. Em seguida, projetamos um mecanismo de atenção cruzada densa que aproveita a geometria do objeto aprendida implicitamente para recuperar e alinhar espacialmente as características de aparência com suas regiões correspondentes, garantindo uma consistência fiel da aparência. Experimentos extensos em benchmarks públicos demonstram a eficácia do framework DGAD proposto.

English

General object composition (GOC) aims to seamlessly integrate a target object into a background scene with desired geometric properties, while simultaneously preserving its fine-grained appearance details. Recent approaches derive semantic embeddings and integrate them into advanced diffusion models to enable geometry-editable generation. However, these highly compact embeddings encode only high-level semantic cues and inevitably discard fine-grained appearance details. We introduce a Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD) model that first leverages semantic embeddings to implicitly capture the desired geometric transformations and then employs a cross-attention retrieval mechanism to align fine-grained appearance features with the geometry-edited representation, facilitating both precise geometry editing and faithful appearance preservation in object composition. Specifically, DGAD builds on CLIP/DINO-derived and reference networks to extract semantic embeddings and appearance-preserving representations, which are then seamlessly integrated into the encoding and decoding pipelines in a disentangled manner. We first integrate the semantic embeddings into pre-trained diffusion models that exhibit strong spatial reasoning capabilities to implicitly capture object geometry, thereby facilitating flexible object manipulation and ensuring effective editability. Then, we design a dense cross-attention mechanism that leverages the implicitly learned object geometry to retrieve and spatially align appearance features with their corresponding regions, ensuring faithful appearance consistency. Extensive experiments on public benchmarks demonstrate the effectiveness of the proposed DGAD framework.