FlexiAct: Rumo ao Controle Flexível de Ações em Cenários Heterogêneos

FlexiAct: Towards Flexible Action Control in Heterogeneous Scenarios

May 6, 2025

Autores: Shiyi Zhang, Junhao Zhuang, Zhaoyang Zhang, Ying Shan, Yansong Tang

cs.AI

Resumo

A personalização de ações envolve a geração de vídeos em que o sujeito realiza ações ditadas por sinais de controle de entrada. Os métodos atuais utilizam personalização guiada por pose ou por movimento global, mas são limitados por restrições rigorosas na estrutura espacial, como layout, esqueleto e consistência de ponto de vista, reduzindo a adaptabilidade em diversos sujeitos e cenários. Para superar essas limitações, propomos o FlexiAct, que transfere ações de um vídeo de referência para uma imagem alvo arbitrária. Diferente dos métodos existentes, o FlexiAct permite variações no layout, ponto de vista e estrutura esquelética entre o sujeito do vídeo de referência e a imagem alvo, mantendo a consistência de identidade. Para alcançar isso, é necessário controle preciso da ação, adaptação da estrutura espacial e preservação da consistência. Para tanto, introduzimos o RefAdapter, um adaptador leve condicionado por imagem que se destaca na adaptação espacial e preservação da consistência, superando métodos existentes no equilíbrio entre consistência de aparência e flexibilidade estrutural. Além disso, com base em nossas observações, o processo de remoção de ruído exibe níveis variados de atenção ao movimento (baixa frequência) e detalhes de aparência (alta frequência) em diferentes intervalos de tempo. Assim, propomos o FAE (Extração de Ação Consciente de Frequência), que, ao contrário dos métodos existentes que dependem de arquiteturas espaço-temporais separadas, realiza diretamente a extração de ação durante o processo de remoção de ruído. Experimentos demonstram que nosso método transfere efetivamente ações para sujeitos com layouts, esqueletos e pontos de vista diversos. Disponibilizamos nosso código e pesos de modelo para apoiar pesquisas futuras em https://shiyi-zh0408.github.io/projectpages/FlexiAct/.

English

Action customization involves generating videos where the subject performs actions dictated by input control signals. Current methods use pose-guided or global motion customization but are limited by strict constraints on spatial structure, such as layout, skeleton, and viewpoint consistency, reducing adaptability across diverse subjects and scenarios. To overcome these limitations, we propose FlexiAct, which transfers actions from a reference video to an arbitrary target image. Unlike existing methods, FlexiAct allows for variations in layout, viewpoint, and skeletal structure between the subject of the reference video and the target image, while maintaining identity consistency. Achieving this requires precise action control, spatial structure adaptation, and consistency preservation. To this end, we introduce RefAdapter, a lightweight image-conditioned adapter that excels in spatial adaptation and consistency preservation, surpassing existing methods in balancing appearance consistency and structural flexibility. Additionally, based on our observations, the denoising process exhibits varying levels of attention to motion (low frequency) and appearance details (high frequency) at different timesteps. So we propose FAE (Frequency-aware Action Extraction), which, unlike existing methods that rely on separate spatial-temporal architectures, directly achieves action extraction during the denoising process. Experiments demonstrate that our method effectively transfers actions to subjects with diverse layouts, skeletons, and viewpoints. We release our code and model weights to support further research at https://shiyi-zh0408.github.io/projectpages/FlexiAct/