DragAnything: Bewegingscontrole voor alles met behulp van entiteitsrepresentatie

DragAnything: Motion Control for Anything using Entity Representation

March 12, 2024

Auteurs: Wejia Wu, Zhuang Li, Yuchao Gu, Rui Zhao, Yefei He, David Junhao Zhang, Mike Zheng Shou, Yan Li, Tingting Gao, Di Zhang

cs.AI

Samenvatting

We introduceren DragAnything, dat een entiteitsrepresentatie gebruikt om bewegingscontrole te bereiken voor elk object in gecontroleerde videogeneratie. In vergelijking met bestaande methoden voor bewegingscontrole biedt DragAnything verschillende voordelen. Ten eerste is trajectgebaseerde interactie gebruiksvriendelijker wanneer het verkrijgen van andere begeleidingssignalen (bijv. maskers, dieptekaarten) arbeidsintensief is. Gebruikers hoeven alleen maar een lijn (traject) te tekenen tijdens de interactie. Ten tweede dient onze entiteitsrepresentatie als een open-domein embedding die in staat is elk object weer te geven, waardoor de bewegingscontrole van diverse entiteiten, inclusief de achtergrond, mogelijk wordt. Tot slot stelt onze entiteitsrepresentatie gelijktijdige en afzonderlijke bewegingscontrole voor meerdere objecten in staat. Uitgebreide experimenten tonen aan dat onze DragAnything state-of-the-art prestaties bereikt voor FVD, FID en gebruikersstudies, met name op het gebied van objectbewegingscontrole, waar onze methode de vorige methoden (bijv. DragNUWA) met 26% overtreft in menselijke stemmen.

English

We introduce DragAnything, which utilizes a entity representation to achieve motion control for any object in controllable video generation. Comparison to existing motion control methods, DragAnything offers several advantages. Firstly, trajectory-based is more userfriendly for interaction, when acquiring other guidance signals (e.g., masks, depth maps) is labor-intensive. Users only need to draw a line (trajectory) during interaction. Secondly, our entity representation serves as an open-domain embedding capable of representing any object, enabling the control of motion for diverse entities, including background. Lastly, our entity representation allows simultaneous and distinct motion control for multiple objects. Extensive experiments demonstrate that our DragAnything achieves state-of-the-art performance for FVD, FID, and User Study, particularly in terms of object motion control, where our method surpasses the previous methods (e.g., DragNUWA) by 26% in human voting.