Video-Foley: Twee-fasen video-naar-geluid generatie via temporele gebeurtenisconditie voor Foley-geluid

Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition For Foley Sound

August 21, 2024

Auteurs: Junwon Lee, Jaekwon Im, Dabin Kim, Juhan Nam

cs.AI

Samenvatting

Foley-geluidsynthese is cruciaal voor multimediaproductie, waarbij de gebruikerservaring wordt verbeterd door audio en video zowel temporeel als semantisch te synchroniseren. Recente studies over het automatiseren van dit arbeidsintensieve proces via video-naar-geluid-generatie worden geconfronteerd met aanzienlijke uitdagingen. Systemen die expliciete temporele kenmerken missen, lijden onder slechte bestuurbaarheid en uitlijning, terwijl tijdstempelgebaseerde modellen kostbare en subjectieve menselijke annotatie vereisen. Wij stellen Video-Foley voor, een video-naar-geluid-systeem dat Root Mean Square (RMS) gebruikt als een temporele gebeurtenisvoorwaarde met semantische timbre-prikkels (audio of tekst). RMS, een frame-niveau intensiteitsenvelopkenmerk dat nauw verwant is aan audio-semantiek, zorgt voor een hoge bestuurbaarheid en synchronisatie. Het annotatievrije zelfsuperviserende leerraamwerk bestaat uit twee fasen, Video2RMS en RMS2Sound, en bevat nieuwe ideeën zoals RMS-discretisatie en RMS-ControlNet met een vooraf getraind tekst-naar-audio-model. Onze uitgebreide evaluatie toont aan dat Video-Foley state-of-the-art prestaties bereikt in audiovisuele uitlijning en bestuurbaarheid voor geluidstiming, intensiteit, timbre en nuance. Code, modelgewichten en demonstraties zijn beschikbaar op de bijbehorende website. (https://jnwnlee.github.io/video-foley-demo)

English

Foley sound synthesis is crucial for multimedia production, enhancing user experience by synchronizing audio and video both temporally and semantically. Recent studies on automating this labor-intensive process through video-to-sound generation face significant challenges. Systems lacking explicit temporal features suffer from poor controllability and alignment, while timestamp-based models require costly and subjective human annotation. We propose Video-Foley, a video-to-sound system using Root Mean Square (RMS) as a temporal event condition with semantic timbre prompts (audio or text). RMS, a frame-level intensity envelope feature closely related to audio semantics, ensures high controllability and synchronization. The annotation-free self-supervised learning framework consists of two stages, Video2RMS and RMS2Sound, incorporating novel ideas including RMS discretization and RMS-ControlNet with a pretrained text-to-audio model. Our extensive evaluation shows that Video-Foley achieves state-of-the-art performance in audio-visual alignment and controllability for sound timing, intensity, timbre, and nuance. Code, model weights, and demonstrations are available on the accompanying website. (https://jnwnlee.github.io/video-foley-demo)