Reposicionando o Sujeito dentro da Imagem
Repositioning the Subject within Image
January 30, 2024
Autores: Yikai Wang, Chenjie Cao, Qiaole Dong, Yifan Li, Yanwei Fu
cs.AI
Resumo
A manipulação de imagens atualmente concentra-se principalmente em manipulações estáticas, como substituir regiões específicas de uma imagem ou alterar seu estilo geral. Neste artigo, introduzimos uma tarefa inovadora de manipulação dinâmica: o reposicionamento de objetos. Essa tarefa envolve a realocação de um objeto especificado pelo usuário para uma posição desejada, mantendo a fidelidade da imagem. Nossa pesquisa revela que as sub-tarefas fundamentais do reposicionamento de objetos, que incluem preencher o vazio deixado pelo objeto reposicionado, reconstruir partes ocultas do objeto e integrar o objeto de forma consistente com as áreas ao redor, podem ser efetivamente reformuladas como uma tarefa unificada de inpainting guiada por prompts. Consequentemente, podemos empregar um único modelo generativo de difusão para abordar essas sub-tarefas usando diversos prompts de tarefa aprendidos por meio de nossa técnica proposta de inversão de tarefas. Além disso, integramos técnicas de pré-processamento e pós-processamento para aprimorar ainda mais a qualidade do reposicionamento de objetos. Esses elementos juntos formam nossa estrutura SEELE (SEgment-gEnerate-and-bLEnd). Para avaliar a eficácia do SEELE no reposicionamento de objetos, compilamos um conjunto de dados do mundo real chamado ReS. Nossos resultados no ReS demonstram a qualidade da geração de imagens com objetos reposicionados.
English
Current image manipulation primarily centers on static manipulation, such as
replacing specific regions within an image or altering its overall style. In
this paper, we introduce an innovative dynamic manipulation task, subject
repositioning. This task involves relocating a user-specified subject to a
desired position while preserving the image's fidelity. Our research reveals
that the fundamental sub-tasks of subject repositioning, which include filling
the void left by the repositioned subject, reconstructing obscured portions of
the subject and blending the subject to be consistent with surrounding areas,
can be effectively reformulated as a unified, prompt-guided inpainting task.
Consequently, we can employ a single diffusion generative model to address
these sub-tasks using various task prompts learned through our proposed task
inversion technique. Additionally, we integrate pre-processing and
post-processing techniques to further enhance the quality of subject
repositioning. These elements together form our SEgment-gEnerate-and-bLEnd
(SEELE) framework. To assess SEELE's effectiveness in subject repositioning, we
assemble a real-world subject repositioning dataset called ReS. Our results on
ReS demonstrate the quality of repositioned image generation.