DragAnything: Управление движением для любого объекта с использованием представления сущности

DragAnything: Motion Control for Anything using Entity Representation

March 12, 2024

Авторы: Wejia Wu, Zhuang Li, Yuchao Gu, Rui Zhao, Yefei He, David Junhao Zhang, Mike Zheng Shou, Yan Li, Tingting Gao, Di Zhang

cs.AI

Аннотация

Мы представляем DragAnything, который использует представление сущности для достижения управления движением любого объекта в контролируемой генерации видео. По сравнению с существующими методами управления движением, DragAnything предлагает несколько преимуществ. Во-первых, на основе траектории более удобно для взаимодействия, поскольку получение других сигналов управления (например, масок, карт глубины) требует больших трудозатрат. Пользователям нужно только нарисовать линию (траекторию) во время взаимодействия. Во-вторых, наше представление сущности служит встраиванием в открытой области, способным представлять любой объект, обеспечивая управление движением для различных сущностей, включая фон. Наконец, наше представление сущности позволяет одновременное и отдельное управление движением для нескольких объектов. Обширные эксперименты показывают, что наш DragAnything достигает передового уровня производительности по метрикам FVD, FID и пользовательскому исследованию, особенно в части управления движением объектов, где наш метод превосходит предыдущие методы (например, DragNUWA) на 26% по результатам голосования людей.

English

We introduce DragAnything, which utilizes a entity representation to achieve motion control for any object in controllable video generation. Comparison to existing motion control methods, DragAnything offers several advantages. Firstly, trajectory-based is more userfriendly for interaction, when acquiring other guidance signals (e.g., masks, depth maps) is labor-intensive. Users only need to draw a line (trajectory) during interaction. Secondly, our entity representation serves as an open-domain embedding capable of representing any object, enabling the control of motion for diverse entities, including background. Lastly, our entity representation allows simultaneous and distinct motion control for multiple objects. Extensive experiments demonstrate that our DragAnything achieves state-of-the-art performance for FVD, FID, and User Study, particularly in terms of object motion control, where our method surpasses the previous methods (e.g., DragNUWA) by 26% in human voting.