Video-Foley: Geração de Som a partir de Vídeo em Duas Etapas via Condição de Evento Temporal para Som de Foley

Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition For Foley Sound

August 21, 2024

Autores: Junwon Lee, Jaekwon Im, Dabin Kim, Juhan Nam

cs.AI

Resumo

A síntese de som Foley é crucial para a produção de multimídia, aprimorando a experiência do usuário ao sincronizar áudio e vídeo tanto temporal quanto semanticamente. Estudos recentes sobre automatizar esse processo intensivo em mão de obra por meio da geração de vídeo para som enfrentam desafios significativos. Sistemas carentes de características temporais explícitas sofrem de baixa controlabilidade e alinhamento, enquanto modelos baseados em marcação temporal exigem anotações humanas dispendiosas e subjetivas. Propomos o Video-Foley, um sistema de vídeo para som que utiliza a Raiz Quadrada da Média dos Quadrados (RMS) como condição de evento temporal com sugestões semânticas de timbre (áudio ou texto). O RMS, um recurso de envelope de intensidade ao nível do quadro intimamente relacionado à semântica de áudio, garante alta controlabilidade e sincronização. O framework de aprendizado auto-supervisionado sem anotações consiste em duas etapas, Video2RMS e RMS2Sound, incorporando ideias inovadoras, incluindo discretização de RMS e RMS-ControlNet com um modelo pré-treinado de texto para áudio. Nossa extensa avaliação mostra que o Video-Foley alcança desempenho de ponta em alinhamento áudio-visual e controlabilidade para tempo, intensidade, timbre e nuances sonoras. Código, pesos do modelo e demonstrações estão disponíveis no site associado. (https://jnwnlee.github.io/video-foley-demo)

English

Foley sound synthesis is crucial for multimedia production, enhancing user experience by synchronizing audio and video both temporally and semantically. Recent studies on automating this labor-intensive process through video-to-sound generation face significant challenges. Systems lacking explicit temporal features suffer from poor controllability and alignment, while timestamp-based models require costly and subjective human annotation. We propose Video-Foley, a video-to-sound system using Root Mean Square (RMS) as a temporal event condition with semantic timbre prompts (audio or text). RMS, a frame-level intensity envelope feature closely related to audio semantics, ensures high controllability and synchronization. The annotation-free self-supervised learning framework consists of two stages, Video2RMS and RMS2Sound, incorporating novel ideas including RMS discretization and RMS-ControlNet with a pretrained text-to-audio model. Our extensive evaluation shows that Video-Foley achieves state-of-the-art performance in audio-visual alignment and controllability for sound timing, intensity, timbre, and nuance. Code, model weights, and demonstrations are available on the accompanying website. (https://jnwnlee.github.io/video-foley-demo)