Riposizionamento del soggetto all'interno dell'immagine
Repositioning the Subject within Image
January 30, 2024
Autori: Yikai Wang, Chenjie Cao, Qiaole Dong, Yifan Li, Yanwei Fu
cs.AI
Abstract
La manipolazione delle immagini attuale si concentra principalmente su manipolazioni statiche, come la sostituzione di regioni specifiche all'interno di un'immagine o l'alterazione del suo stile complessivo. In questo articolo, introduciamo un'innovativa attività di manipolazione dinamica: il riposizionamento del soggetto. Questa attività consiste nel trasferire un soggetto specificato dall'utente a una posizione desiderata, preservando la fedeltà dell'immagine. La nostra ricerca rivela che le sotto-attività fondamentali del riposizionamento del soggetto, che includono il riempimento del vuoto lasciato dal soggetto riposizionato, la ricostruzione delle porzioni oscurate del soggetto e l'integrazione del soggetto per renderlo coerente con le aree circostanti, possono essere efficacemente riformulate come un'unica attività di inpainting guidata da prompt. Di conseguenza, possiamo utilizzare un singolo modello generativo di diffusione per affrontare queste sotto-attività utilizzando vari prompt di attività appresi attraverso la nostra tecnica proposta di inversione delle attività. Inoltre, integriamo tecniche di pre-elaborazione e post-elaborazione per migliorare ulteriormente la qualità del riposizionamento del soggetto. Questi elementi insieme formano il nostro framework SEgment-gEnerate-and-bLEnd (SEELE). Per valutare l'efficacia di SEELE nel riposizionamento del soggetto, abbiamo assemblato un dataset di riposizionamento del soggetto nel mondo reale chiamato ReS. I nostri risultati su ReS dimostrano la qualità della generazione delle immagini riposizionate.
English
Current image manipulation primarily centers on static manipulation, such as
replacing specific regions within an image or altering its overall style. In
this paper, we introduce an innovative dynamic manipulation task, subject
repositioning. This task involves relocating a user-specified subject to a
desired position while preserving the image's fidelity. Our research reveals
that the fundamental sub-tasks of subject repositioning, which include filling
the void left by the repositioned subject, reconstructing obscured portions of
the subject and blending the subject to be consistent with surrounding areas,
can be effectively reformulated as a unified, prompt-guided inpainting task.
Consequently, we can employ a single diffusion generative model to address
these sub-tasks using various task prompts learned through our proposed task
inversion technique. Additionally, we integrate pre-processing and
post-processing techniques to further enhance the quality of subject
repositioning. These elements together form our SEgment-gEnerate-and-bLEnd
(SEELE) framework. To assess SEELE's effectiveness in subject repositioning, we
assemble a real-world subject repositioning dataset called ReS. Our results on
ReS demonstrate the quality of repositioned image generation.