Kirin: 非撮影環境ビデオからの動物モーション生成

要旨

動物の動作を理解することは、動物の行動やバイオメカニクスのモデル化にとって基礎となる。しかし、この分野の進展は、高品質な動作データの不足により、人間の動作研究に比べて大きく遅れている。人間の動作は制御された環境での収集が可能である一方、ほとんどの動物種ではそれが非現実的であり、その結果、規模が小さく適用範囲が限られたデータセットしか得られず、アニメーションなどの下流アプリケーションに制約をもたらしている。この課題に対処するため、我々はKirinを紹介する。これは、映像から動作を再構築し、大規模に動作の事前知識を学習し、アニメーション用アセットに直接適用可能な現実的な動作を生成するフレームワークである。我々は、非制御環境で収集された大規模な動物映像群を用いて3D動作シーケンスを再構築し、それらにキャプションを付与することで、四足動物を対象とした、整合性のある映像–テキスト–動作のタプルを提供する初の大規模データセットAiM3Dを構築した。このデータセットに基づき、テキストと画像の両方を条件としてさまざまな動物種にわたる現実的な動作生成を導く、視覚誘導型の動作生成モデルを開発する。最後に、既製の画像から3Dへの変換モデルを活用し、生成された動作によって3Dメッシュのリギングとアニメーションを自動的に行い、そのままレンダリング可能なアニメーション動物を生成する。これらを組み合わせることで、我々のデータセットとフレームワークは、テキストおよび画像で条件付けされた大規模な動物動作生成とアニメーションの新たな基盤を確立する。プロジェクトページ: https://kirin-ani.github.io/

English

Understanding animal motion is fundamental to modeling animal behavior and biomechanics, yet progress in this area lags far behind human motion research due to the scarcity of high-quality motion data. While human motion can be captured in controlled environments, it is impractical for most animal species, resulting in small, domain-limited datasets that restrict downstream applications such as animation. To address this challenge, we introduce Kirin, a framework that reconstructs motion from video, learns motion priors at scale, and generates realistic motion that can be directly applied to animated assets. Using large collections of in-the-wild animal videos, we reconstruct 3D motion sequences and pair them with captions to create AiM3D, the first large-scale dataset offering aligned video-text-motion tuples for quadruped animals. Building on this dataset, we develop a visual-guided motion generation model that conditions on both text and image to guide the generation of realistic motion across diverse animal species. Finally, by leveraging an off-the-shelf image-to-3D model, we automatically rig and animate 3D meshes using generated motion, producing ready-to-render animated animals. Together, our dataset and framework establish a new foundation for large-scale, text and image conditioned animal motion generation and animation. Project page: https://kirin-ani.github.io/.