AutoVFX: Физически реалистичный монтаж видео по естественному языку Инструкции

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

November 4, 2024

Авторы: Hao-Yu Hsu, Zhi-Hao Lin, Albert Zhai, Hongchi Xia, Shenlong Wang

cs.AI

Аннотация

Современное программное обеспечение для визуальных эффектов (VFX) позволяет опытным художникам создавать изображения практически чего угодно. Однако процесс создания остаётся трудоёмким, сложным и в значительной степени недоступным для обычных пользователей. В данной работе мы представляем AutoVFX, фреймворк, который автоматически создаёт реалистичные и динамичные видео с визуальными эффектами на основе одного видео и естественных языковых инструкций. Благодаря тщательной интеграции нейронного моделирования сцены, генерации кода на основе LLM и физического моделирования, AutoVFX способен обеспечить физически обоснованные, фотореалистичные эффекты редактирования, которые могут быть управляемы прямо с помощью естественных языковых инструкций. Мы проводим обширные эксперименты для подтверждения эффективности AutoVFX на разнообразном спектре видео и инструкций. Количественные и качественные результаты показывают, что AutoVFX значительно превосходит все конкурирующие методы по качеству генерации, соответствию инструкциям, гибкости редактирования и физической правдоподобности.

English

Modern visual effects (VFX) software has made it possible for skilled artists to create imagery of virtually anything. However, the creation process remains laborious, complex, and largely inaccessible to everyday users. In this work, we present AutoVFX, a framework that automatically creates realistic and dynamic VFX videos from a single video and natural language instructions. By carefully integrating neural scene modeling, LLM-based code generation, and physical simulation, AutoVFX is able to provide physically-grounded, photorealistic editing effects that can be controlled directly using natural language instructions. We conduct extensive experiments to validate AutoVFX's efficacy across a diverse spectrum of videos and instructions. Quantitative and qualitative results suggest that AutoVFX outperforms all competing methods by a large margin in generative quality, instruction alignment, editing versatility, and physical plausibility.