AutoVFX: Edición de Video Físicamente Realista a partir de Lenguaje Natural Instrucciones

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

November 4, 2024

Autores: Hao-Yu Hsu, Zhi-Hao Lin, Albert Zhai, Hongchi Xia, Shenlong Wang

cs.AI

Resumen

El software moderno de efectos visuales (VFX) ha permitido a artistas expertos crear imágenes de prácticamente cualquier cosa. Sin embargo, el proceso de creación sigue siendo laborioso, complejo y en gran medida inaccesible para los usuarios comunes. En este trabajo, presentamos AutoVFX, un marco que crea automáticamente videos realistas y dinámicos de efectos visuales a partir de un solo video e instrucciones en lenguaje natural. Al integrar cuidadosamente modelado de escenas neuronales, generación de código basada en LLM y simulación física, AutoVFX es capaz de ofrecer efectos de edición fotorealistas y fundamentados físicamente que pueden ser controlados directamente mediante instrucciones en lenguaje natural. Realizamos experimentos extensos para validar la eficacia de AutoVFX en una amplia gama de videos e instrucciones. Los resultados cuantitativos y cualitativos sugieren que AutoVFX supera con creces a todos los métodos competidores en calidad generativa, alineación de instrucciones, versatilidad de edición y plausibilidad física.

English

Modern visual effects (VFX) software has made it possible for skilled artists to create imagery of virtually anything. However, the creation process remains laborious, complex, and largely inaccessible to everyday users. In this work, we present AutoVFX, a framework that automatically creates realistic and dynamic VFX videos from a single video and natural language instructions. By carefully integrating neural scene modeling, LLM-based code generation, and physical simulation, AutoVFX is able to provide physically-grounded, photorealistic editing effects that can be controlled directly using natural language instructions. We conduct extensive experiments to validate AutoVFX's efficacy across a diverse spectrum of videos and instructions. Quantitative and qualitative results suggest that AutoVFX outperforms all competing methods by a large margin in generative quality, instruction alignment, editing versatility, and physical plausibility.