Reubicación del sujeto dentro de la imagen
Repositioning the Subject within Image
January 30, 2024
Autores: Yikai Wang, Chenjie Cao, Qiaole Dong, Yifan Li, Yanwei Fu
cs.AI
Resumen
La manipulación de imágenes actual se centra principalmente en la manipulación estática, como reemplazar regiones específicas dentro de una imagen o alterar su estilo general. En este artículo, presentamos una innovadora tarea de manipulación dinámica: el reposicionamiento de sujetos. Esta tarea implica trasladar un sujeto especificado por el usuario a una posición deseada mientras se preserva la fidelidad de la imagen. Nuestra investigación revela que las sub-tareas fundamentales del reposicionamiento de sujetos, que incluyen rellenar el vacío dejado por el sujeto reposicionado, reconstruir las partes ocultas del sujeto y mezclar el sujeto para que sea coherente con las áreas circundantes, pueden reformularse eficazmente como una tarea unificada de inpainting guiado por prompts. En consecuencia, podemos emplear un único modelo generativo de difusión para abordar estas sub-tareas utilizando varios prompts de tarea aprendidos a través de nuestra técnica propuesta de inversión de tareas. Además, integramos técnicas de preprocesamiento y postprocesamiento para mejorar aún más la calidad del reposicionamiento de sujetos. Estos elementos juntos forman nuestro marco SEgment-gEnerate-and-bLEnd (SEELE). Para evaluar la eficacia de SEELE en el reposicionamiento de sujetos, hemos creado un conjunto de datos del mundo real llamado ReS. Nuestros resultados en ReS demuestran la calidad de la generación de imágenes reposicionadas.
English
Current image manipulation primarily centers on static manipulation, such as
replacing specific regions within an image or altering its overall style. In
this paper, we introduce an innovative dynamic manipulation task, subject
repositioning. This task involves relocating a user-specified subject to a
desired position while preserving the image's fidelity. Our research reveals
that the fundamental sub-tasks of subject repositioning, which include filling
the void left by the repositioned subject, reconstructing obscured portions of
the subject and blending the subject to be consistent with surrounding areas,
can be effectively reformulated as a unified, prompt-guided inpainting task.
Consequently, we can employ a single diffusion generative model to address
these sub-tasks using various task prompts learned through our proposed task
inversion technique. Additionally, we integrate pre-processing and
post-processing techniques to further enhance the quality of subject
repositioning. These elements together form our SEgment-gEnerate-and-bLEnd
(SEELE) framework. To assess SEELE's effectiveness in subject repositioning, we
assemble a real-world subject repositioning dataset called ReS. Our results on
ReS demonstrate the quality of repositioned image generation.