Composición de Objetos con Geometría Editable y Preservación de la Apariencia

Geometry-Editable and Appearance-Preserving Object Compositon

May 27, 2025

Autores: Jianman Lin, Haojie Li, Chunmei Qing, Zhijing Yang, Liang Lin, Tianshui Chen

cs.AI

Resumen

La composición general de objetos (GOC, por sus siglas en inglés) tiene como objetivo integrar de manera fluida un objeto objetivo en una escena de fondo con propiedades geométricas deseadas, preservando simultáneamente los detalles de apariencia a nivel fino. Los enfoques recientes derivan incrustaciones semánticas y las integran en modelos avanzados de difusión para permitir la generación editable en términos de geometría. Sin embargo, estas incrustaciones altamente compactas codifican solo señales semánticas de alto nivel y descartan inevitablemente los detalles de apariencia a nivel fino. Introducimos un modelo de Difusión Desacoplada Editable en Geometría y Preservadora de Apariencia (DGAD, por sus siglas en inglés) que primero aprovecha las incrustaciones semánticas para capturar implícitamente las transformaciones geométricas deseadas y luego emplea un mecanismo de recuperación de atención cruzada para alinear las características de apariencia a nivel fino con la representación editada en geometría, facilitando tanto la edición precisa de la geometría como la preservación fiel de la apariencia en la composición de objetos. Específicamente, DGAD se basa en redes derivadas de CLIP/DINO y redes de referencia para extraer incrustaciones semánticas y representaciones que preservan la apariencia, las cuales se integran de manera desacoplada en las canalizaciones de codificación y decodificación. Primero, integramos las incrustaciones semánticas en modelos de difusión preentrenados que exhiben fuertes capacidades de razonamiento espacial para capturar implícitamente la geometría del objeto, facilitando así la manipulación flexible del objeto y asegurando una editabilidad efectiva. Luego, diseñamos un mecanismo de atención cruzada densa que aprovecha la geometría del objeto aprendida implícitamente para recuperar y alinear espacialmente las características de apariencia con sus regiones correspondientes, asegurando una consistencia fiel en la apariencia. Experimentos extensos en benchmarks públicos demuestran la efectividad del marco DGAD propuesto.

English

General object composition (GOC) aims to seamlessly integrate a target object into a background scene with desired geometric properties, while simultaneously preserving its fine-grained appearance details. Recent approaches derive semantic embeddings and integrate them into advanced diffusion models to enable geometry-editable generation. However, these highly compact embeddings encode only high-level semantic cues and inevitably discard fine-grained appearance details. We introduce a Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD) model that first leverages semantic embeddings to implicitly capture the desired geometric transformations and then employs a cross-attention retrieval mechanism to align fine-grained appearance features with the geometry-edited representation, facilitating both precise geometry editing and faithful appearance preservation in object composition. Specifically, DGAD builds on CLIP/DINO-derived and reference networks to extract semantic embeddings and appearance-preserving representations, which are then seamlessly integrated into the encoding and decoding pipelines in a disentangled manner. We first integrate the semantic embeddings into pre-trained diffusion models that exhibit strong spatial reasoning capabilities to implicitly capture object geometry, thereby facilitating flexible object manipulation and ensuring effective editability. Then, we design a dense cross-attention mechanism that leverages the implicitly learned object geometry to retrieve and spatially align appearance features with their corresponding regions, ensuring faithful appearance consistency. Extensive experiments on public benchmarks demonstrate the effectiveness of the proposed DGAD framework.