FlexiAct: Verso un Controllo Flessibile delle Azioni in Scenari Eterogenei
FlexiAct: Towards Flexible Action Control in Heterogeneous Scenarios
May 6, 2025
Autori: Shiyi Zhang, Junhao Zhuang, Zhaoyang Zhang, Ying Shan, Yansong Tang
cs.AI
Abstract
La personalizzazione delle azioni consiste nella generazione di video in cui il soggetto esegue azioni dettate da segnali di controllo in input. I metodi attuali utilizzano la personalizzazione guidata dalla postura o dal movimento globale, ma sono limitati da vincoli rigidi sulla struttura spaziale, come il layout, lo scheletro e la coerenza del punto di vista, riducendo l'adattabilità a soggetti e scenari diversi. Per superare queste limitazioni, proponiamo FlexiAct, che trasferisce le azioni da un video di riferimento a un'immagine target arbitraria. A differenza dei metodi esistenti, FlexiAct consente variazioni nel layout, nel punto di vista e nella struttura scheletrica tra il soggetto del video di riferimento e l'immagine target, mantenendo al contempo la coerenza dell'identità. Raggiungere questo obiettivo richiede un controllo preciso delle azioni, un adattamento della struttura spaziale e la preservazione della coerenza. A tal fine, introduciamo RefAdapter, un adattatore leggero condizionato dall'immagine che eccelle nell'adattamento spaziale e nella preservazione della coerenza, superando i metodi esistenti nel bilanciare la coerenza dell'aspetto e la flessibilità strutturale. Inoltre, sulla base delle nostre osservazioni, il processo di denoising mostra livelli variabili di attenzione al movimento (bassa frequenza) e ai dettagli dell'aspetto (alta frequenza) in diversi momenti. Pertanto, proponiamo FAE (Frequency-aware Action Extraction), che, a differenza dei metodi esistenti che si basano su architetture spazio-temporali separate, ottiene direttamente l'estrazione delle azioni durante il processo di denoising. Gli esperimenti dimostrano che il nostro metodo trasferisce efficacemente le azioni a soggetti con layout, scheletri e punti di vista diversi. Rilasciamo il nostro codice e i pesi del modello per supportare ulteriori ricerche all'indirizzo https://shiyi-zh0408.github.io/projectpages/FlexiAct/.
English
Action customization involves generating videos where the subject performs
actions dictated by input control signals. Current methods use pose-guided or
global motion customization but are limited by strict constraints on spatial
structure, such as layout, skeleton, and viewpoint consistency, reducing
adaptability across diverse subjects and scenarios. To overcome these
limitations, we propose FlexiAct, which transfers actions from a reference
video to an arbitrary target image. Unlike existing methods, FlexiAct allows
for variations in layout, viewpoint, and skeletal structure between the subject
of the reference video and the target image, while maintaining identity
consistency. Achieving this requires precise action control, spatial structure
adaptation, and consistency preservation. To this end, we introduce RefAdapter,
a lightweight image-conditioned adapter that excels in spatial adaptation and
consistency preservation, surpassing existing methods in balancing appearance
consistency and structural flexibility. Additionally, based on our
observations, the denoising process exhibits varying levels of attention to
motion (low frequency) and appearance details (high frequency) at different
timesteps. So we propose FAE (Frequency-aware Action Extraction), which, unlike
existing methods that rely on separate spatial-temporal architectures, directly
achieves action extraction during the denoising process. Experiments
demonstrate that our method effectively transfers actions to subjects with
diverse layouts, skeletons, and viewpoints. We release our code and model
weights to support further research at
https://shiyi-zh0408.github.io/projectpages/FlexiAct/