DragAnything: Control de movimiento para cualquier cosa utilizando representación de entidades

DragAnything: Motion Control for Anything using Entity Representation

March 12, 2024

Autores: Wejia Wu, Zhuang Li, Yuchao Gu, Rui Zhao, Yefei He, David Junhao Zhang, Mike Zheng Shou, Yan Li, Tingting Gao, Di Zhang

cs.AI

Resumen

Presentamos DragAnything, que utiliza una representación de entidad para lograr control de movimiento de cualquier objeto en la generación de video controlable. En comparación con los métodos existentes de control de movimiento, DragAnything ofrece varias ventajas. En primer lugar, el enfoque basado en trayectorias es más amigable para la interacción del usuario, ya que la obtención de otras señales de guía (por ejemplo, máscaras, mapas de profundidad) es laboriosa. Los usuarios solo necesitan dibujar una línea (trayectoria) durante la interacción. En segundo lugar, nuestra representación de entidad funciona como un embedding de dominio abierto capaz de representar cualquier objeto, permitiendo el control del movimiento de diversas entidades, incluido el fondo. Por último, nuestra representación de entidad permite un control de movimiento simultáneo y distinto para múltiples objetos. Experimentos exhaustivos demuestran que DragAnything alcanza un rendimiento de vanguardia en FVD, FID y estudios de usuario, particularmente en términos de control de movimiento de objetos, donde nuestro método supera a los métodos anteriores (por ejemplo, DragNUWA) en un 26% en votación humana.

English

We introduce DragAnything, which utilizes a entity representation to achieve motion control for any object in controllable video generation. Comparison to existing motion control methods, DragAnything offers several advantages. Firstly, trajectory-based is more userfriendly for interaction, when acquiring other guidance signals (e.g., masks, depth maps) is labor-intensive. Users only need to draw a line (trajectory) during interaction. Secondly, our entity representation serves as an open-domain embedding capable of representing any object, enabling the control of motion for diverse entities, including background. Lastly, our entity representation allows simultaneous and distinct motion control for multiple objects. Extensive experiments demonstrate that our DragAnything achieves state-of-the-art performance for FVD, FID, and User Study, particularly in terms of object motion control, where our method surpasses the previous methods (e.g., DragNUWA) by 26% in human voting.