Геометрически редактируемая и сохраняющая внешний вид композиция объектов

Geometry-Editable and Appearance-Preserving Object Compositon

May 27, 2025

Авторы: Jianman Lin, Haojie Li, Chunmei Qing, Zhijing Yang, Liang Lin, Tianshui Chen

cs.AI

Аннотация

Общая композиция объектов (GOC) стремится к бесшовной интеграции целевого объекта в фоновую сцену с заданными геометрическими свойствами, одновременно сохраняя его детализированные визуальные характеристики. Современные подходы извлекают семантические эмбеддинги и интегрируют их в продвинутые диффузионные модели для обеспечения генерации с возможностью редактирования геометрии. Однако такие высоко компактные эмбеддинги кодируют только высокоуровневые семантические признаки и неизбежно теряют детализированные визуальные характеристики. Мы представляем модель Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD), которая сначала использует семантические эмбеддинги для неявного захвата желаемых геометрических преобразований, а затем применяет механизм кросс-внимания для согласования детализированных визуальных признаков с геометрически отредактированным представлением, обеспечивая как точное редактирование геометрии, так и сохранение визуальной достоверности при композиции объектов. В частности, DGAD основывается на сетях, извлеченных из CLIP/DINO, и референсных сетях для получения семантических эмбеддингов и представлений, сохраняющих визуальные характеристики, которые затем интегрируются в процессы кодирования и декодирования в разъединенном виде. Сначала мы интегрируем семантические эмбеддинги в предобученные диффузионные модели, обладающие сильными способностями к пространственному анализу, чтобы неявно захватывать геометрию объекта, что способствует гибкому манипулированию объектами и обеспечивает эффективную редактируемость. Затем мы разрабатываем механизм плотного кросс-внимания, который использует неявно изученную геометрию объекта для извлечения и пространственного согласования визуальных признаков с соответствующими областями, гарантируя достоверное сохранение визуальной согласованности. Эксперименты на публичных бенчмарках демонстрируют эффективность предложенного фреймворка DGAD.

English

General object composition (GOC) aims to seamlessly integrate a target object into a background scene with desired geometric properties, while simultaneously preserving its fine-grained appearance details. Recent approaches derive semantic embeddings and integrate them into advanced diffusion models to enable geometry-editable generation. However, these highly compact embeddings encode only high-level semantic cues and inevitably discard fine-grained appearance details. We introduce a Disentangled Geometry-editable and Appearance-preserving Diffusion (DGAD) model that first leverages semantic embeddings to implicitly capture the desired geometric transformations and then employs a cross-attention retrieval mechanism to align fine-grained appearance features with the geometry-edited representation, facilitating both precise geometry editing and faithful appearance preservation in object composition. Specifically, DGAD builds on CLIP/DINO-derived and reference networks to extract semantic embeddings and appearance-preserving representations, which are then seamlessly integrated into the encoding and decoding pipelines in a disentangled manner. We first integrate the semantic embeddings into pre-trained diffusion models that exhibit strong spatial reasoning capabilities to implicitly capture object geometry, thereby facilitating flexible object manipulation and ensuring effective editability. Then, we design a dense cross-attention mechanism that leverages the implicitly learned object geometry to retrieve and spatially align appearance features with their corresponding regions, ensuring faithful appearance consistency. Extensive experiments on public benchmarks demonstrate the effectiveness of the proposed DGAD framework.