Audio Generatie met Bewustzijn van Video Object Segmentatie

Video Object Segmentation-Aware Audio Generation

September 30, 2025

Auteurs: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

Samenvatting

Bestaande multimodale audiogeneratiemodellen bieden vaak geen precieze gebruikerscontrole, wat hun toepasbaarheid in professionele Foley-workflows beperkt. In het bijzonder richten deze modellen zich op de volledige video en bieden ze geen nauwkeurige methoden om een specifiek object in een scène te prioriteren, waardoor onnodige achtergrondgeluiden worden gegenereerd of de verkeerde objecten worden benadrukt. Om dit gat te dichten, introduceren we de nieuwe taak van video-objectsegmentatiebewuste audiogeneratie, waarbij de geluidssynthese expliciet wordt geconditioneerd op objectniveau-segmentatiekaarten. We presenteren SAGANet, een nieuw multimodaal generatief model dat controleerbare audiogeneratie mogelijk maakt door gebruik te maken van visuele segmentatiemaskers samen met video- en tekstuele aanwijzingen. Ons model biedt gebruikers fijnmazige en visueel gelokaliseerde controle over audiogeneratie. Om deze taak te ondersteunen en verder onderzoek naar segmentatiebewuste Foley te faciliteren, stellen we Segmented Music Solos voor, een benchmarkdataset van muziekinstrumentuitvoeringsvideo's met segmentatie-informatie. Onze methode toont aanzienlijke verbeteringen ten opzichte van huidige state-of-the-art-methoden en zet een nieuwe standaard voor controleerbare, hoogwaardige Foley-synthese. Code, voorbeelden en Segmented Music Solos zijn beschikbaar op https://saganet.notion.site.

English

Existing multimodal audio generation models often lack precise user control, which limits their applicability in professional Foley workflows. In particular, these models focus on the entire video and do not provide precise methods for prioritizing a specific object within a scene, generating unnecessary background sounds, or focusing on the wrong objects. To address this gap, we introduce the novel task of video object segmentation-aware audio generation, which explicitly conditions sound synthesis on object-level segmentation maps. We present SAGANet, a new multimodal generative model that enables controllable audio generation by leveraging visual segmentation masks along with video and textual cues. Our model provides users with fine-grained and visually localized control over audio generation. To support this task and further research on segmentation-aware Foley, we propose Segmented Music Solos, a benchmark dataset of musical instrument performance videos with segmentation information. Our method demonstrates substantial improvements over current state-of-the-art methods and sets a new standard for controllable, high-fidelity Foley synthesis. Code, samples, and Segmented Music Solos are available at https://saganet.notion.site