CustomNet: Personalizzazione di oggetti in zero-shot con punti di vista variabili nei modelli di diffusione testo-immagine

CustomNet: Zero-shot Object Customization with Variable-Viewpoints in Text-to-Image Diffusion Models

October 30, 2023

Autori: Ziyang Yuan, Mingdeng Cao, Xintao Wang, Zhongang Qi, Chun Yuan, Ying Shan

cs.AI

Abstract

L'incorporazione di un oggetto personalizzato nella generazione di immagini rappresenta una funzionalità interessante nella generazione di immagini da testo. Tuttavia, i metodi esistenti basati su ottimizzazione e codificatori sono limitati da svantaggi come un'ottimizzazione che richiede tempo, una conservazione insufficiente dell'identità e un effetto prevalente di copia-incolla. Per superare queste limitazioni, introduciamo CustomNet, un nuovo approccio di personalizzazione degli oggetti che integra esplicitamente le capacità di sintesi di nuove viste 3D nel processo di personalizzazione degli oggetti. Questa integrazione facilita l'aggiustamento delle relazioni di posizione spaziale e dei punti di vista, producendo output diversificati mentre preserva efficacemente l'identità dell'oggetto. Inoltre, introduciamo design raffinati per consentire il controllo della posizione e un controllo flessibile dello sfondo attraverso descrizioni testuali o immagini specifiche definite dall'utente, superando le limitazioni dei metodi esistenti di sintesi di nuove viste 3D. Sfruttiamo ulteriormente una pipeline di costruzione del dataset che può gestire meglio oggetti del mondo reale e sfondi complessi. Dotato di questi design, il nostro metodo facilita la personalizzazione degli oggetti in modalità zero-shot senza ottimizzazione al momento del test, offrendo un controllo simultaneo sui punti di vista, la posizione e lo sfondo. Di conseguenza, il nostro CustomNet garantisce una conservazione migliorata dell'identità e genera output diversificati e armoniosi.

English

Incorporating a customized object into image generation presents an attractive feature in text-to-image generation. However, existing optimization-based and encoder-based methods are hindered by drawbacks such as time-consuming optimization, insufficient identity preservation, and a prevalent copy-pasting effect. To overcome these limitations, we introduce CustomNet, a novel object customization approach that explicitly incorporates 3D novel view synthesis capabilities into the object customization process. This integration facilitates the adjustment of spatial position relationships and viewpoints, yielding diverse outputs while effectively preserving object identity. Moreover, we introduce delicate designs to enable location control and flexible background control through textual descriptions or specific user-defined images, overcoming the limitations of existing 3D novel view synthesis methods. We further leverage a dataset construction pipeline that can better handle real-world objects and complex backgrounds. Equipped with these designs, our method facilitates zero-shot object customization without test-time optimization, offering simultaneous control over the viewpoints, location, and background. As a result, our CustomNet ensures enhanced identity preservation and generates diverse, harmonious outputs.