AutoVFX：自然言語からの物理的にリアルなビデオ編集 指示

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

November 4, 2024

著者: Hao-Yu Hsu, Zhi-Hao Lin, Albert Zhai, Hongchi Xia, Shenlong Wang

cs.AI

要旨

現代のビジュアルエフェクト（VFX）ソフトウェアは、熟練したアーティストがほぼ何でものイメージを作成できるようにしました。ただし、作成プロセスは引き続き労力を要し、複雑であり、一般ユーザーにはほとんどアクセスできません。本研究では、単一のビデオと自然言語の指示からリアルなダイナミックVFXビデオを自動的に作成するAutoVFXフレームワークを提案します。ニューラルシーンモデリング、LLMベースのコード生成、物理シミュレーションを注意深く統合することで、AutoVFXは物理的に基礎付けられた、写実的な編集効果を提供し、自然言語の指示を直接制御できます。様々なビデオと指示にわたるAutoVFXの有効性を検証するために包括的な実験を実施します。定量的および定性的な結果は、AutoVFXが生成品質、指示の整合性、編集の柔軟性、物理的な妥当性において、他のすべての競合手法を大きく上回ることを示唆しています。

English

Modern visual effects (VFX) software has made it possible for skilled artists to create imagery of virtually anything. However, the creation process remains laborious, complex, and largely inaccessible to everyday users. In this work, we present AutoVFX, a framework that automatically creates realistic and dynamic VFX videos from a single video and natural language instructions. By carefully integrating neural scene modeling, LLM-based code generation, and physical simulation, AutoVFX is able to provide physically-grounded, photorealistic editing effects that can be controlled directly using natural language instructions. We conduct extensive experiments to validate AutoVFX's efficacy across a diverse spectrum of videos and instructions. Quantitative and qualitative results suggest that AutoVFX outperforms all competing methods by a large margin in generative quality, instruction alignment, editing versatility, and physical plausibility.