AnyTalk: ビデオ生成モデルを活用した任意キャラクターの音声アニメーション

要旨

本稿では、任意のキャラクターに対してアニメーションデータを一切必要とせずに3D発話アニメーションを生成する新しい手法AnyTalkを提案する。既存の音声駆動3D発話アニメーション手法は、キャラクター固有のトレーニングデータや手間のかかるリギング/リメッシュに依存している。これに対しAnyTalkは、大規模なビデオデータセットで学習された最近のビデオ拡散モデルを活用することで、これらの制約を回避する。まず、提案するキャラクター特化ファインチューニング（CsF）技術により、事前学習済みビデオ拡散モデルを対象キャラクターに適応させる。3Dキャラクターのレンダリング画像に、ゼロ化したオーディオ埋め込み（「動きなし」を表す）を組み合わせてファインチューニングすることで、アニメーションデータを必要とせずに、大規模ビデオ拡散モデルのモーションプライアを保持する。次に、得られたトーキングヘッドビデオを、提案する最適化プロセスによるブレンドシェイプパラメータの推定を通じて、3D発話アニメーションへと変換する。AnyTalkは、多様な顔メッシュやブレンドシェイプ構成にわたってリップシンクされたアニメーションを可能にし、手作業とデータ要件を大幅に削減する。さらに、AnyTalkを蒸留してAnyTalk_{RT}という効率的なネットワークを構築することで使いやすさを向上させ、リアルタイム性能を実現する。トーキングヘッドビデオ生成を活用することにより、本手法は任意のキャラクターに対する音声駆動の発話アニメーション技術へのアクセスを広げる。コードは https://serin-yoon.github.io/projects/anytalk/ で公開している。

English

We present AnyTalk, a novel method for generating 3D speech animations for arbitrary characters without requiring any animation data. While existing audio-driven 3D speech animation methods rely on character-specific training data or laborious rigging/re-meshing, AnyTalk circumvents these limitations by leveraging recent video diffusion models trained on extensive video datasets. We first adapt a pre-trained video diffusion model to a target character through our Character-specific Fine-tuning (CsF) technique. By fine-tuning on rendered images of the 3D character paired with zeroed-out audio embeddings (representing "no motion"), we eliminate the need for animation data while preserving the motion prior of large-scale video diffusion model. We then uplift the resulting talking-head video into a 3D speech animation by estimating blendshape parameters through a proposed optimization process. AnyTalk enables lip-synced animations across diverse face meshes and blendshape configurations, significantly reducing manual effort and data requirements. We further enhance usability by distilling AnyTalk into a streamlined network, AnyTalk_{RT}, thereby enabling real-time performance. By leveraging talking-head video generation, our method broadens access to audio-driven speech animation technology for arbitrary characters. The code is publicly available at https://serin-yoon.github.io/projects/anytalk/.