Het onderwerp binnen de afbeelding herpositioneren

Repositioning the Subject within Image

January 30, 2024

Auteurs: Yikai Wang, Chenjie Cao, Qiaole Dong, Yifan Li, Yanwei Fu

cs.AI

Samenvatting

Huidige beeldmanipulatie richt zich voornamelijk op statische manipulatie, zoals het vervangen van specifieke regio's binnen een afbeelding of het aanpassen van de algehele stijl. In dit artikel introduceren we een innovatieve dynamische manipulatietaak: het herpositioneren van onderwerpen. Deze taak omvat het verplaatsen van een door de gebruiker gespecificeerd onderwerp naar een gewenste positie, terwijl de getrouwheid van de afbeelding behouden blijft. Ons onderzoek toont aan dat de fundamentele sub-taken van het herpositioneren van onderwerpen, waaronder het opvullen van de leegte die ontstaat door het verplaatste onderwerp, het reconstrueren van verborgen delen van het onderwerp en het naadloos integreren van het onderwerp met de omringende gebieden, effectief kunnen worden hervormd tot een uniforme, prompt-gestuurde inpainting-taak. Hierdoor kunnen we een enkel diffuus generatief model inzetten om deze sub-taken aan te pakken met behulp van diverse taakprompts die zijn geleerd via onze voorgestelde taakinversietechniek. Daarnaast integreren we pre-processing en post-processing technieken om de kwaliteit van het herpositioneren van onderwerpen verder te verbeteren. Deze elementen vormen samen ons SEgment-gEnerate-and-bLEnd (SEELE) framework. Om de effectiviteit van SEELE bij het herpositioneren van onderwerpen te evalueren, hebben we een real-world dataset voor het herpositioneren van onderwerpen samengesteld, genaamd ReS. Onze resultaten op ReS demonstreren de kwaliteit van de gegenereerde herpositioneerde afbeeldingen.

English

Current image manipulation primarily centers on static manipulation, such as replacing specific regions within an image or altering its overall style. In this paper, we introduce an innovative dynamic manipulation task, subject repositioning. This task involves relocating a user-specified subject to a desired position while preserving the image's fidelity. Our research reveals that the fundamental sub-tasks of subject repositioning, which include filling the void left by the repositioned subject, reconstructing obscured portions of the subject and blending the subject to be consistent with surrounding areas, can be effectively reformulated as a unified, prompt-guided inpainting task. Consequently, we can employ a single diffusion generative model to address these sub-tasks using various task prompts learned through our proposed task inversion technique. Additionally, we integrate pre-processing and post-processing techniques to further enhance the quality of subject repositioning. These elements together form our SEgment-gEnerate-and-bLEnd (SEELE) framework. To assess SEELE's effectiveness in subject repositioning, we assemble a real-world subject repositioning dataset called ReS. Our results on ReS demonstrate the quality of repositioned image generation.