Repositionnement du sujet dans l'image
Repositioning the Subject within Image
January 30, 2024
Auteurs: Yikai Wang, Chenjie Cao, Qiaole Dong, Yifan Li, Yanwei Fu
cs.AI
Résumé
La manipulation d'images actuelle se concentre principalement sur des modifications statiques, telles que le remplacement de régions spécifiques dans une image ou l'altération de son style global. Dans cet article, nous introduisons une tâche innovante de manipulation dynamique : le repositionnement de sujet. Cette tâche consiste à déplacer un sujet spécifié par l'utilisateur vers une position souhaitée tout en préservant la fidélité de l'image. Notre recherche révèle que les sous-tâches fondamentales du repositionnement de sujet, qui incluent le remplissage du vide laissé par le sujet repositionné, la reconstruction des parties obscurcies du sujet et l'intégration harmonieuse du sujet avec les zones environnantes, peuvent être efficacement reformulées comme une tâche unifiée de réparation guidée par des prompts. Par conséquent, nous pouvons utiliser un seul modèle génératif de diffusion pour traiter ces sous-tâches en utilisant divers prompts de tâche appris grâce à notre technique d'inversion de tâche proposée. De plus, nous intégrons des techniques de prétraitement et de post-traitement pour améliorer davantage la qualité du repositionnement de sujet. Ces éléments forment ensemble notre cadre SEgment-gEnerate-and-bLEnd (SEELE). Pour évaluer l'efficacité de SEELE dans le repositionnement de sujet, nous avons constitué un ensemble de données de repositionnement de sujet en situation réelle appelé ReS. Nos résultats sur ReS démontrent la qualité de la génération d'images repositionnées.
English
Current image manipulation primarily centers on static manipulation, such as
replacing specific regions within an image or altering its overall style. In
this paper, we introduce an innovative dynamic manipulation task, subject
repositioning. This task involves relocating a user-specified subject to a
desired position while preserving the image's fidelity. Our research reveals
that the fundamental sub-tasks of subject repositioning, which include filling
the void left by the repositioned subject, reconstructing obscured portions of
the subject and blending the subject to be consistent with surrounding areas,
can be effectively reformulated as a unified, prompt-guided inpainting task.
Consequently, we can employ a single diffusion generative model to address
these sub-tasks using various task prompts learned through our proposed task
inversion technique. Additionally, we integrate pre-processing and
post-processing techniques to further enhance the quality of subject
repositioning. These elements together form our SEgment-gEnerate-and-bLEnd
(SEELE) framework. To assess SEELE's effectiveness in subject repositioning, we
assemble a real-world subject repositioning dataset called ReS. Our results on
ReS demonstrate the quality of repositioned image generation.