Video-Objektsegmentierung-bewusste Audiogenerierung

Video Object Segmentation-Aware Audio Generation

September 30, 2025

papers.authors: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

papers.abstract

Bestehende multimodale Audiogenerierungsmodelle bieten oft keine präzise Benutzersteuerung, was ihre Anwendbarkeit in professionellen Foley-Workflows einschränkt. Insbesondere konzentrieren sich diese Modelle auf das gesamte Video und bieten keine präzisen Methoden, um ein bestimmtes Objekt innerhalb einer Szene zu priorisieren, was zu unnötigen Hintergrundgeräuschen oder einer falschen Fokussierung auf Objekte führt. Um diese Lücke zu schließen, führen wir die neuartige Aufgabe der videobasierten Objektsegmentierung mit Audiogenerierung ein, die die Klangsynthese explizit auf segmentierungsbasierte Objektebenen-Karten konditioniert. Wir präsentieren SAGANet, ein neues multimodales generatives Modell, das eine kontrollierbare Audiogenerierung ermöglicht, indem es visuelle Segmentierungsmasken zusammen mit Video- und Textinformationen nutzt. Unser Modell bietet Benutzern eine fein abgestimmte und visuell lokalisierte Steuerung der Audiogenerierung. Um diese Aufgabe zu unterstützen und weitere Forschungen zur segmentierungsbewussten Foley-Generierung zu ermöglichen, schlagen wir Segmented Music Solos vor, einen Benchmark-Datensatz von Videos musikalischer Instrumentenaufführungen mit Segmentierungsinformationen. Unsere Methode zeigt erhebliche Verbesserungen gegenüber aktuellen State-of-the-Art-Methoden und setzt einen neuen Standard für kontrollierbare, hochwertige Foley-Synthese. Code, Beispiele und Segmented Music Solos sind unter https://saganet.notion.site verfügbar.

English

Existing multimodal audio generation models often lack precise user control, which limits their applicability in professional Foley workflows. In particular, these models focus on the entire video and do not provide precise methods for prioritizing a specific object within a scene, generating unnecessary background sounds, or focusing on the wrong objects. To address this gap, we introduce the novel task of video object segmentation-aware audio generation, which explicitly conditions sound synthesis on object-level segmentation maps. We present SAGANet, a new multimodal generative model that enables controllable audio generation by leveraging visual segmentation masks along with video and textual cues. Our model provides users with fine-grained and visually localized control over audio generation. To support this task and further research on segmentation-aware Foley, we propose Segmented Music Solos, a benchmark dataset of musical instrument performance videos with segmentation information. Our method demonstrates substantial improvements over current state-of-the-art methods and sets a new standard for controllable, high-fidelity Foley synthesis. Code, samples, and Segmented Music Solos are available at https://saganet.notion.site