DragAnything: Bewegungssteuerung für beliebige Objekte mithilfe von Entitätsdarstellung

DragAnything: Motion Control for Anything using Entity Representation

March 12, 2024

Autoren: Wejia Wu, Zhuang Li, Yuchao Gu, Rui Zhao, Yefei He, David Junhao Zhang, Mike Zheng Shou, Yan Li, Tingting Gao, Di Zhang

cs.AI

Zusammenfassung

Wir stellen DragAnything vor, das eine Entitätsdarstellung nutzt, um die Bewegungssteuerung für jedes Objekt in der steuerbaren Videogenerierung zu erreichen. Im Vergleich zu bestehenden Bewegungssteuerungsmethoden bietet DragAnything mehrere Vorteile. Erstens ist die auf Trajektorien basierende Methode benutzerfreundlicher für die Interaktion, da der Erwerb anderer Leitsignale (z. B. Masken, Tiefenkarten) arbeitsintensiv ist. Benutzer müssen nur eine Linie (Trajektorie) während der Interaktion zeichnen. Zweitens dient unsere Entitätsdarstellung als Open-Domain-Einbettung, die in der Lage ist, jedes Objekt darzustellen und die Steuerung der Bewegung für verschiedene Entitäten, einschließlich des Hintergrunds, zu ermöglichen. Schließlich ermöglicht unsere Entitätsdarstellung eine gleichzeitige und unterschiedliche Bewegungssteuerung für mehrere Objekte. Umfangreiche Experimente zeigen, dass unser DragAnything eine Spitzenleistung für FVD, FID und Benutzerstudien erzielt, insbesondere in Bezug auf die Objektbewegungssteuerung, wobei unsere Methode die bisherigen Methoden (z. B. DragNUWA) um 26% in der menschlichen Bewertung übertrifft.

English

We introduce DragAnything, which utilizes a entity representation to achieve motion control for any object in controllable video generation. Comparison to existing motion control methods, DragAnything offers several advantages. Firstly, trajectory-based is more userfriendly for interaction, when acquiring other guidance signals (e.g., masks, depth maps) is labor-intensive. Users only need to draw a line (trajectory) during interaction. Secondly, our entity representation serves as an open-domain embedding capable of representing any object, enabling the control of motion for diverse entities, including background. Lastly, our entity representation allows simultaneous and distinct motion control for multiple objects. Extensive experiments demonstrate that our DragAnything achieves state-of-the-art performance for FVD, FID, and User Study, particularly in terms of object motion control, where our method surpasses the previous methods (e.g., DragNUWA) by 26% in human voting.