Follow-Your-Click: 짧은 프롬프트를 통한 개방형 영역 이미지 애니메이션

Follow-Your-Click: Open-domain Regional Image Animation via Short Prompts

March 13, 2024

저자: Yue Ma, Yingqing He, Hongfa Wang, Andong Wang, Chenyang Qi, Chengfei Cai, Xiu Li, Zhifeng Li, Heung-Yeung Shum, Wei Liu, Qifeng Chen

cs.AI

초록

이미지-투-비디오 생성 분야에서 최근의 발전에도 불구하고, 더 나은 제어 가능성과 지역적 애니메이션은 상대적으로 덜 탐구된 영역입니다. 대부분의 기존 이미지-투-비디오 방법은 지역적 인식이 부족하며 전체 장면을 움직이는 경향이 있습니다. 그러나 인간 아티스트들은 다양한 객체나 영역의 움직임을 제어해야 할 필요가 있습니다. 또한, 현재의 I2V(Image-to-Video) 방법들은 사용자에게 목표 동작을 설명할 뿐만 아니라 프레임 내용의 불필요한 세부 사항까지 제공하도록 요구합니다. 이러한 두 가지 문제는 현재 I2V 도구의 실용적 활용을 방해합니다. 본 논문에서는 간단한 사용자 클릭(무엇을 움직일지 지정)과 짧은 동작 프롬프트(어떻게 움직일지 지정)를 통해 이미지 애니메이션을 달성하기 위한 실용적인 프레임워크인 Follow-Your-Click을 제안합니다. 기술적으로, 우리는 비디오 생성 품질을 크게 향상시키는 첫 프레임 마스킹 전략과 짧은 동작 프롬프트 데이터셋을 갖춘 동작 증강 모듈을 제안하여 모델의 짧은 프롬프트 추적 능력을 개선합니다. 또한, 움직임 속도를 더 정밀하게 제어하기 위해 흐름 기반 동작 크기 제어를 제안합니다. 우리의 프레임워크는 이전 방법들보다 더 간단하면서도 정확한 사용자 제어와 더 나은 생성 성능을 제공합니다. 상업적 도구와 연구 방법을 포함한 7개의 베이스라인과 8개의 메트릭을 비교한 광범위한 실험을 통해 우리의 접근 방식의 우수성을 입증합니다. 프로젝트 페이지: https://follow-your-click.github.io/

English

Despite recent advances in image-to-video generation, better controllability and local animation are less explored. Most existing image-to-video methods are not locally aware and tend to move the entire scene. However, human artists may need to control the movement of different objects or regions. Additionally, current I2V methods require users not only to describe the target motion but also to provide redundant detailed descriptions of frame contents. These two issues hinder the practical utilization of current I2V tools. In this paper, we propose a practical framework, named Follow-Your-Click, to achieve image animation with a simple user click (for specifying what to move) and a short motion prompt (for specifying how to move). Technically, we propose the first-frame masking strategy, which significantly improves the video generation quality, and a motion-augmented module equipped with a short motion prompt dataset to improve the short prompt following abilities of our model. To further control the motion speed, we propose flow-based motion magnitude control to control the speed of target movement more precisely. Our framework has simpler yet precise user control and better generation performance than previous methods. Extensive experiments compared with 7 baselines, including both commercial tools and research methods on 8 metrics, suggest the superiority of our approach. Project Page: https://follow-your-click.github.io/