ChatPaper.aiChatPaper

SViMo: 手と物体のインタラクションシナリオにおけるビデオとモーション生成のための同期拡散モデル

SViMo: Synchronized Diffusion for Video and Motion Generation in Hand-object Interaction Scenarios

June 3, 2025
著者: Lingwei Dang, Ruizhi Shao, Hongwen Zhang, Wei Min, Yebin Liu, Qingyao Wu
cs.AI

要旨

手と物体の相互作用(HOI)生成は、重要な応用可能性を秘めています。しかし、現在の3D HOIモーション生成手法は、事前に定義された3D物体モデルと実験室でキャプチャされたモーションデータに大きく依存しており、汎化能力が制限されています。一方、HOIビデオ生成手法は、ピクセルレベルの視覚的忠実度を優先し、物理的な妥当性を犠牲にすることが多いです。視覚的外観とモーションパターンが現実世界で基本的な物理法則を共有していることを認識し、我々は、視覚的プライアと動的制約を同期拡散プロセス内で組み合わせてHOIビデオとモーションを同時に生成する新しいフレームワークを提案します。異種のセマンティクス、外観、およびモーション特徴を統合するために、我々の手法は、特徴の整合化のためにトリモーダル適応変調を実装し、モーダル間およびモーダル内の依存関係をモデル化するために3Dフルアテンションを組み合わせます。さらに、同期拡散出力から直接明示的な3D相互作用シーケンスを生成し、それらをフィードバックして閉ループフィードバックサイクルを確立するビジョン認識型3D相互作用拡散モデルを導入します。このアーキテクチャは、事前に定義された物体モデルや明示的なポーズガイダンスへの依存を排除し、ビデオとモーションの一貫性を大幅に向上させます。実験結果は、我々の手法が、高忠実度で動的に妥当なHOIシーケンスを生成する際に最先端の手法を凌駕し、未見の現実世界シナリオでの顕著な汎化能力を示しています。プロジェクトページはhttps://github.com/Droliven/SViMo\_projectにあります。
English
Hand-Object Interaction (HOI) generation has significant application potential. However, current 3D HOI motion generation approaches heavily rely on predefined 3D object models and lab-captured motion data, limiting generalization capabilities. Meanwhile, HOI video generation methods prioritize pixel-level visual fidelity, often sacrificing physical plausibility. Recognizing that visual appearance and motion patterns share fundamental physical laws in the real world, we propose a novel framework that combines visual priors and dynamic constraints within a synchronized diffusion process to generate the HOI video and motion simultaneously. To integrate the heterogeneous semantics, appearance, and motion features, our method implements tri-modal adaptive modulation for feature aligning, coupled with 3D full-attention for modeling inter- and intra-modal dependencies. Furthermore, we introduce a vision-aware 3D interaction diffusion model that generates explicit 3D interaction sequences directly from the synchronized diffusion outputs, then feeds them back to establish a closed-loop feedback cycle. This architecture eliminates dependencies on predefined object models or explicit pose guidance while significantly enhancing video-motion consistency. Experimental results demonstrate our method's superiority over state-of-the-art approaches in generating high-fidelity, dynamically plausible HOI sequences, with notable generalization capabilities in unseen real-world scenarios. Project page at https://github.com/Droliven/SViMo\_project.
PDF13June 6, 2025