GraphVid: 対話的グラフ制御による動画生成

要旨

制御可能な動画生成は、テキストプロンプトや主にピクセル移動を制約するモーション制御入力を用いて、複数のオブジェクト間の精密な相互作用を指定することの難しさから、依然として課題が残る。実際には、軌道ベースの制御では、ユーザーが複数のオブジェクトに対して正確な軌跡を描く必要があり、シーンの複雑さに比例してスケーラビリティが低下し、オクルージョンや重なり合いの下では曖昧になる。柔軟かつ精密なマルチサブジェクト制御を実現するために、我々はGraphVidを導入する。これは、構造化された相互作用グラフを通じてインタラクティブな制御を可能にする、グラフ条件付き画像から動画への生成モデルである。さらに、相互作用認識型動画生成モデルの学習を可能にするため、大規模な相互作用中心的動画データセットであるGraphVid-Benchを、構造化された関係アノテーションと共に構築する。GraphVidは、従来のモーション制御手法よりもはるかに少ない学習データと学習可能パラメータを使用しているにもかかわらず、高い制御性と動画品質を実現する。Motion-I2Vと比較して、GraphVidはFIDを最大39.9%、FVDを37.6%削減すると同時に、PSNR（9.87→15.98）とSSIM（0.38→0.61）を改善する。この結果は、構造化された意味的インターフェースが、制御可能な動画生成のための強力なパラダイムとなり得る可能性を強調するものである。

English

Controllable video generation remains challenging due to the difficulty of specifying precise multi-object interactions using text prompts or motion-control inputs that primarily constrain pixel movement. In practice, trajectory-based control often requires users to draw accurate tracks for multiple objects, which scales poorly with scene complexity and becomes ambiguous under occlusion or overlap. To enable flexible yet precise multi-subject control, we introduce GraphVid, a graph-conditioned image-to-video generation model that enables interactive control through structured interaction graphs. We further curate GraphVid-Bench, a large-scale interaction-centric video dataset with structured relational annotations to enable training of interaction-aware video generation models. Despite using substantially less training data and fewer trainable parameters than prior motion-control methods, GraphVid delivers strong controllability and video quality. Compared with Motion-I2V, GraphVid reduces FID by up to 39.9% and FVD by 37.6%, while improving PSNR (9.87=>15.98) and SSIM (0.38=>0.61). Our results highlight the potential of structured semantic interfaces as a powerful paradigm for controllable video generation.