Génération audio consciente de la segmentation d'objets vidéo

Video Object Segmentation-Aware Audio Generation

September 30, 2025

papers.authors: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

papers.abstract

Les modèles existants de génération audio multimodale manquent souvent de contrôle utilisateur précis, ce qui limite leur applicabilité dans les workflows professionnels de bruitage. En particulier, ces modèles se concentrent sur la vidéo dans son ensemble et ne fournissent pas de méthodes précises pour prioriser un objet spécifique dans une scène, générant des sons de fond superflus ou se focalisant sur les mauvais objets. Pour combler cette lacune, nous introduisons la nouvelle tâche de génération audio consciente de la segmentation d'objets vidéo, qui conditionne explicitement la synthèse sonore sur des cartes de segmentation au niveau des objets. Nous présentons SAGANet, un nouveau modèle génératif multimodal qui permet une génération audio contrôlée en exploitant des masques de segmentation visuelle ainsi que des indices vidéo et textuels. Notre modèle offre aux utilisateurs un contrôle granulaire et localisé visuellement sur la génération audio. Pour soutenir cette tâche et approfondir la recherche sur le bruitage conscient de la segmentation, nous proposons Segmented Music Solos, un ensemble de données de référence de vidéos de performances d'instruments de musique avec des informations de segmentation. Notre méthode démontre des améliorations substantielles par rapport aux méthodes actuelles de pointe et établit une nouvelle norme pour la synthèse de bruitage contrôlée et haute fidélité. Le code, des échantillons et Segmented Music Solos sont disponibles à l'adresse https://saganet.notion.site.

English

Existing multimodal audio generation models often lack precise user control, which limits their applicability in professional Foley workflows. In particular, these models focus on the entire video and do not provide precise methods for prioritizing a specific object within a scene, generating unnecessary background sounds, or focusing on the wrong objects. To address this gap, we introduce the novel task of video object segmentation-aware audio generation, which explicitly conditions sound synthesis on object-level segmentation maps. We present SAGANet, a new multimodal generative model that enables controllable audio generation by leveraging visual segmentation masks along with video and textual cues. Our model provides users with fine-grained and visually localized control over audio generation. To support this task and further research on segmentation-aware Foley, we propose Segmented Music Solos, a benchmark dataset of musical instrument performance videos with segmentation information. Our method demonstrates substantial improvements over current state-of-the-art methods and sets a new standard for controllable, high-fidelity Foley synthesis. Code, samples, and Segmented Music Solos are available at https://saganet.notion.site