Vidéo-Foley : Génération de son à partir de vidéo en deux étapes via la condition d'événement temporel pour le son Foley

Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition For Foley Sound

August 21, 2024

Auteurs: Junwon Lee, Jaekwon Im, Dabin Kim, Juhan Nam

cs.AI

Résumé

La synthèse sonore Foley est cruciale pour la production multimédia, améliorant l'expérience utilisateur en synchronisant l'audio et la vidéo à la fois temporellement et sémantiquement. Les études récentes sur l'automatisation de ce processus intensif en main-d'œuvre à travers la génération vidéo-son rencontrent des défis significatifs. Les systèmes dépourvus de caractéristiques temporelles explicites souffrent d'une faible contrôlabilité et d'un mauvais alignement, tandis que les modèles basés sur les horodatages nécessitent des annotations humaines coûteuses et subjectives. Nous proposons Video-Foley, un système vidéo-son utilisant la racine carrée de la moyenne des carrés (RMS) comme condition d'événement temporel avec des indications sémantiques de timbre (audio ou texte). Le RMS, une caractéristique d'enveloppe d'intensité au niveau des trames étroitement liée à la sémantique audio, garantit une grande contrôlabilité et synchronisation. Le cadre d'apprentissage auto-supervisé sans annotation se compose de deux étapes, Video2RMS et RMS2Sound, intégrant des idées novatrices incluant la discrétisation du RMS et RMS-ControlNet avec un modèle pré-entraîné texte-vers-audio. Notre évaluation approfondie montre que Video-Foley atteint des performances de pointe en matière d'alignement audio-visuel et de contrôlabilité pour le timing sonore, l'intensité, le timbre et la nuance. Le code, les poids des modèles et les démonstrations sont disponibles sur le site web associé. (https://jnwnlee.github.io/video-foley-demo)

English

Foley sound synthesis is crucial for multimedia production, enhancing user experience by synchronizing audio and video both temporally and semantically. Recent studies on automating this labor-intensive process through video-to-sound generation face significant challenges. Systems lacking explicit temporal features suffer from poor controllability and alignment, while timestamp-based models require costly and subjective human annotation. We propose Video-Foley, a video-to-sound system using Root Mean Square (RMS) as a temporal event condition with semantic timbre prompts (audio or text). RMS, a frame-level intensity envelope feature closely related to audio semantics, ensures high controllability and synchronization. The annotation-free self-supervised learning framework consists of two stages, Video2RMS and RMS2Sound, incorporating novel ideas including RMS discretization and RMS-ControlNet with a pretrained text-to-audio model. Our extensive evaluation shows that Video-Foley achieves state-of-the-art performance in audio-visual alignment and controllability for sound timing, intensity, timbre, and nuance. Code, model weights, and demonstrations are available on the accompanying website. (https://jnwnlee.github.io/video-foley-demo)