Generación de Audio Consciente de la Segmentación de Objetos en Video

Video Object Segmentation-Aware Audio Generation

September 30, 2025

Autores: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

Resumen

Los modelos existentes de generación multimodal de audio a menudo carecen de un control preciso por parte del usuario, lo que limita su aplicabilidad en flujos de trabajo profesionales de Foley. En particular, estos modelos se centran en el video completo y no proporcionan métodos precisos para priorizar un objeto específico dentro de una escena, generando sonidos de fondo innecesarios o enfocándose en los objetos incorrectos. Para abordar esta brecha, introducimos la novedosa tarea de generación de audio consciente de la segmentación de objetos en video, que condiciona explícitamente la síntesis de sonido en mapas de segmentación a nivel de objeto. Presentamos SAGANet, un nuevo modelo generativo multimodal que permite la generación controlada de audio al aprovechar máscaras de segmentación visual junto con señales de video y texto. Nuestro modelo proporciona a los usuarios un control granular y localizado visualmente sobre la generación de audio. Para apoyar esta tarea y fomentar más investigaciones sobre Foley consciente de la segmentación, proponemos Segmented Music Solos, un conjunto de datos de referencia de videos de interpretación de instrumentos musicales con información de segmentación. Nuestro método demuestra mejoras sustanciales sobre los métodos actuales más avanzados y establece un nuevo estándar para la síntesis de Foley controlable y de alta fidelidad. El código, muestras y Segmented Music Solos están disponibles en https://saganet.notion.site.

English

Existing multimodal audio generation models often lack precise user control, which limits their applicability in professional Foley workflows. In particular, these models focus on the entire video and do not provide precise methods for prioritizing a specific object within a scene, generating unnecessary background sounds, or focusing on the wrong objects. To address this gap, we introduce the novel task of video object segmentation-aware audio generation, which explicitly conditions sound synthesis on object-level segmentation maps. We present SAGANet, a new multimodal generative model that enables controllable audio generation by leveraging visual segmentation masks along with video and textual cues. Our model provides users with fine-grained and visually localized control over audio generation. To support this task and further research on segmentation-aware Foley, we propose Segmented Music Solos, a benchmark dataset of musical instrument performance videos with segmentation information. Our method demonstrates substantial improvements over current state-of-the-art methods and sets a new standard for controllable, high-fidelity Foley synthesis. Code, samples, and Segmented Music Solos are available at https://saganet.notion.site