AnyTalk: 비디오 생성 모델을 활용한 임의의 캐릭터를 위한 음성 애니메이션

초록

우리는 애니메이션 데이터를 요구하지 않고 임의의 캐릭터에 대한 3D 음성 애니메이션을 생성하는 새로운 방법인 AnyTalk를 제시한다. 기존의 오디오 기반 3D 음성 애니메이션 방법들은 캐릭터별 훈련 데이터나 번거로운 리깅/리메싱에 의존하는 반면, AnyTalk는 대규모 비디오 데이터셋으로 훈련된 최신 비디오 확산 모델을 활용하여 이러한 한계를 우회한다. 우리는 먼저 Character-specific Fine-tuning (CsF) 기법을 통해 사전 훈련된 비디오 확산 모델을 대상 캐릭터에 적응시킨다. 제로화된 오디오 임베딩(‘움직임 없음’을 나타냄)과 짝지어진 3D 캐릭터의 렌더링 이미지에 대해 미세 조정함으로써, 대규모 비디오 확산 모델의 모션 사전을 보존하면서 애니메이션 데이터의 필요성을 제거한다. 그런 다음 제안된 최적화 과정을 통해 블렌드셰이프 매개변수를 추정하여 결과적으로 생성된 토킹헤드 비디오를 3D 음성 애니메이션으로 승격시킨다. AnyTalk는 다양한 얼굴 메시 및 블렌드셰이프 구성에서 립싱크 애니메이션을 가능하게 하여 수동 작업과 데이터 요구 사항을 크게 줄인다. 우리는 AnyTalk를 간소화된 네트워크인 AnyTalk_{RT}로 증류하여 실시간 성능을 구현함으로써 사용성을 한층 더 향상시킨다. 토킹헤드 비디오 생성을 활용함으로써, 우리의 방법은 임의의 캐릭터에 대한 오디오 기반 음성 애니메이션 기술의 접근성을 확장한다. 코드는 https://serin-yoon.github.io/projects/anytalk/에서 공개적으로 이용 가능하다.

English

We present AnyTalk, a novel method for generating 3D speech animations for arbitrary characters without requiring any animation data. While existing audio-driven 3D speech animation methods rely on character-specific training data or laborious rigging/re-meshing, AnyTalk circumvents these limitations by leveraging recent video diffusion models trained on extensive video datasets. We first adapt a pre-trained video diffusion model to a target character through our Character-specific Fine-tuning (CsF) technique. By fine-tuning on rendered images of the 3D character paired with zeroed-out audio embeddings (representing "no motion"), we eliminate the need for animation data while preserving the motion prior of large-scale video diffusion model. We then uplift the resulting talking-head video into a 3D speech animation by estimating blendshape parameters through a proposed optimization process. AnyTalk enables lip-synced animations across diverse face meshes and blendshape configurations, significantly reducing manual effort and data requirements. We further enhance usability by distilling AnyTalk into a streamlined network, AnyTalk_{RT}, thereby enabling real-time performance. By leveraging talking-head video generation, our method broadens access to audio-driven speech animation technology for arbitrary characters. The code is publicly available at https://serin-yoon.github.io/projects/anytalk/.