AutoVFX: Edição de Vídeo Fisicamente Realista a partir de Linguagem Natural Instruções

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

November 4, 2024

Autores: Hao-Yu Hsu, Zhi-Hao Lin, Albert Zhai, Hongchi Xia, Shenlong Wang

cs.AI

Resumo

O software moderno de efeitos visuais (VFX) tornou possível para artistas habilidosos criar imagens de praticamente qualquer coisa. No entanto, o processo de criação continua sendo trabalhoso, complexo e em grande parte inacessível para usuários comuns. Neste trabalho, apresentamos o AutoVFX, um framework que cria automaticamente vídeos de VFX realistas e dinâmicos a partir de um único vídeo e instruções em linguagem natural. Ao integrar cuidadosamente modelagem neural de cenas, geração de código baseada em LLM e simulação física, o AutoVFX é capaz de fornecer efeitos de edição fisicamente fundamentados e fotorrealistas que podem ser controlados diretamente usando instruções em linguagem natural. Realizamos experimentos extensivos para validar a eficácia do AutoVFX em uma ampla gama de vídeos e instruções. Resultados quantitativos e qualitativos sugerem que o AutoVFX supera significativamente todos os métodos concorrentes em qualidade generativa, alinhamento de instruções, versatilidade de edição e plausibilidade física.

English

Modern visual effects (VFX) software has made it possible for skilled artists to create imagery of virtually anything. However, the creation process remains laborious, complex, and largely inaccessible to everyday users. In this work, we present AutoVFX, a framework that automatically creates realistic and dynamic VFX videos from a single video and natural language instructions. By carefully integrating neural scene modeling, LLM-based code generation, and physical simulation, AutoVFX is able to provide physically-grounded, photorealistic editing effects that can be controlled directly using natural language instructions. We conduct extensive experiments to validate AutoVFX's efficacy across a diverse spectrum of videos and instructions. Quantitative and qualitative results suggest that AutoVFX outperforms all competing methods by a large margin in generative quality, instruction alignment, editing versatility, and physical plausibility.