ObjectMover: Генеративное перемещение объектов с использованием видеопредставлений

ObjectMover: Generative Object Movement with Video Prior

March 11, 2025

Авторы: Xin Yu, Tianyu Wang, Soo Ye Kim, Paul Guerrero, Xi Chen, Qing Liu, Zhe Lin, Xiaojuan Qi

cs.AI

Аннотация

Несмотря на кажущуюся простоту, перемещение объекта в другое место на изображении является сложной задачей редактирования, которая требует пересогласования освещения, корректировки позы с учетом перспективы, точного заполнения скрытых областей и обеспечения согласованности теней и отражений при сохранении идентичности объекта. В данной статье мы представляем ObjectMover — генеративную модель, способную выполнять перемещение объектов в сложных сценах. Наше ключевое понимание заключается в том, что мы моделируем эту задачу как проблему последовательностей и дообучаем модель генерации видео, чтобы использовать её знания о согласованном создании объектов между кадрами. Мы показываем, что такой подход позволяет нашей модели адаптироваться к сложным реальным сценариям, справляясь с экстремальным согласованием освещения и перемещением эффектов объектов. Поскольку крупномасштабные данные для перемещения объектов отсутствуют, мы создаем конвейер генерации данных с использованием современного игрового движка для синтеза высококачественных пар данных. Мы также предлагаем стратегию многозадачного обучения, которая позволяет обучать модель на реальных видеоданных для улучшения её обобщающей способности. В ходе обширных экспериментов мы демонстрируем, что ObjectMover достигает выдающихся результатов и хорошо адаптируется к реальным сценариям.

English

Simple as it seems, moving an object to another location within an image is, in fact, a challenging image-editing task that requires re-harmonizing the lighting, adjusting the pose based on perspective, accurately filling occluded regions, and ensuring coherent synchronization of shadows and reflections while maintaining the object identity. In this paper, we present ObjectMover, a generative model that can perform object movement in highly challenging scenes. Our key insight is that we model this task as a sequence-to-sequence problem and fine-tune a video generation model to leverage its knowledge of consistent object generation across video frames. We show that with this approach, our model is able to adjust to complex real-world scenarios, handling extreme lighting harmonization and object effect movement. As large-scale data for object movement are unavailable, we construct a data generation pipeline using a modern game engine to synthesize high-quality data pairs. We further propose a multi-task learning strategy that enables training on real-world video data to improve the model generalization. Through extensive experiments, we demonstrate that ObjectMover achieves outstanding results and adapts well to real-world scenarios.