ObjectMover: Generazione del Movimento degli Oggetti con Priorità Video

ObjectMover: Generative Object Movement with Video Prior

March 11, 2025

Autori: Xin Yu, Tianyu Wang, Soo Ye Kim, Paul Guerrero, Xi Chen, Qing Liu, Zhe Lin, Xiaojuan Qi

cs.AI

Abstract

Per quanto possa sembrare semplice, spostare un oggetto in un'altra posizione all'interno di un'immagine è, in realtà, un compito di editing delle immagini impegnativo che richiede la riarmonizzazione dell'illuminazione, l'adeguamento della posa in base alla prospettiva, il riempimento accurato delle regioni occluse e la sincronizzazione coerente di ombre e riflessi, mantenendo al contempo l'identità dell'oggetto. In questo articolo, presentiamo ObjectMover, un modello generativo in grado di eseguire lo spostamento di oggetti in scene altamente complesse. La nostra intuizione chiave è modellare questo compito come un problema sequenza-a-sequenza e perfezionare un modello di generazione video per sfruttare la sua conoscenza della generazione coerente di oggetti tra i fotogrammi video. Dimostriamo che, con questo approccio, il nostro modello è in grado di adattarsi a scenari real-world complessi, gestendo l'armonizzazione di illuminazioni estreme e il movimento degli effetti degli oggetti. Poiché non sono disponibili dati su larga scala per lo spostamento di oggetti, costruiamo una pipeline di generazione dati utilizzando un moderno motore di gioco per sintetizzare coppie di dati di alta qualità. Proponiamo inoltre una strategia di apprendimento multi-task che consente l'addestramento su dati video real-world per migliorare la generalizzazione del modello. Attraverso esperimenti estesi, dimostriamo che ObjectMover ottiene risultati eccezionali e si adatta bene a scenari real-world.

English

Simple as it seems, moving an object to another location within an image is, in fact, a challenging image-editing task that requires re-harmonizing the lighting, adjusting the pose based on perspective, accurately filling occluded regions, and ensuring coherent synchronization of shadows and reflections while maintaining the object identity. In this paper, we present ObjectMover, a generative model that can perform object movement in highly challenging scenes. Our key insight is that we model this task as a sequence-to-sequence problem and fine-tune a video generation model to leverage its knowledge of consistent object generation across video frames. We show that with this approach, our model is able to adjust to complex real-world scenarios, handling extreme lighting harmonization and object effect movement. As large-scale data for object movement are unavailable, we construct a data generation pipeline using a modern game engine to synthesize high-quality data pairs. We further propose a multi-task learning strategy that enables training on real-world video data to improve the model generalization. Through extensive experiments, we demonstrate that ObjectMover achieves outstanding results and adapts well to real-world scenarios.