ObjectMover: Generación de movimiento de objetos con prior de video

ObjectMover: Generative Object Movement with Video Prior

March 11, 2025

Autores: Xin Yu, Tianyu Wang, Soo Ye Kim, Paul Guerrero, Xi Chen, Qing Liu, Zhe Lin, Xiaojuan Qi

cs.AI

Resumen

Por simple que parezca, mover un objeto a otra ubicación dentro de una imagen es, de hecho, una tarea desafiante de edición de imágenes que requiere rearmonizar la iluminación, ajustar la pose según la perspectiva, rellenar con precisión las regiones ocluidas y garantizar una sincronización coherente de sombras y reflejos, todo ello manteniendo la identidad del objeto. En este artículo, presentamos ObjectMover, un modelo generativo capaz de realizar movimientos de objetos en escenas altamente complejas. Nuestra idea clave es modelar esta tarea como un problema de secuencia a secuencia y ajustar un modelo de generación de videos para aprovechar su conocimiento sobre la generación consistente de objetos a lo largo de los fotogramas. Demostramos que, con este enfoque, nuestro modelo es capaz de adaptarse a escenarios del mundo real complejos, manejando la armonización de iluminaciones extremas y el movimiento de efectos de objetos. Dado que no existen datos a gran escala para el movimiento de objetos, construimos una pipeline de generación de datos utilizando un motor de juegos moderno para sintetizar pares de datos de alta calidad. Además, proponemos una estrategia de aprendizaje multitarea que permite entrenar con datos de videos del mundo real para mejorar la generalización del modelo. A través de experimentos exhaustivos, demostramos que ObjectMover obtiene resultados sobresalientes y se adapta bien a escenarios del mundo real.

English

Simple as it seems, moving an object to another location within an image is, in fact, a challenging image-editing task that requires re-harmonizing the lighting, adjusting the pose based on perspective, accurately filling occluded regions, and ensuring coherent synchronization of shadows and reflections while maintaining the object identity. In this paper, we present ObjectMover, a generative model that can perform object movement in highly challenging scenes. Our key insight is that we model this task as a sequence-to-sequence problem and fine-tune a video generation model to leverage its knowledge of consistent object generation across video frames. We show that with this approach, our model is able to adjust to complex real-world scenarios, handling extreme lighting harmonization and object effect movement. As large-scale data for object movement are unavailable, we construct a data generation pipeline using a modern game engine to synthesize high-quality data pairs. We further propose a multi-task learning strategy that enables training on real-world video data to improve the model generalization. Through extensive experiments, we demonstrate that ObjectMover achieves outstanding results and adapts well to real-world scenarios.