Geração de Áudio com Consciência de Segmentação de Objetos em Vídeo

Video Object Segmentation-Aware Audio Generation

September 30, 2025

Autores: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

Resumo

Os modelos existentes de geração de áudio multimodal frequentemente carecem de controle preciso do usuário, o que limita sua aplicabilidade em fluxos de trabalho profissionais de Foley. Em particular, esses modelos se concentram no vídeo como um todo e não fornecem métodos precisos para priorizar um objeto específico em uma cena, gerando sons de fundo desnecessários ou focando nos objetos errados. Para abordar essa lacuna, introduzimos a nova tarefa de geração de áudio consciente da segmentação de objetos em vídeo, que condiciona explicitamente a síntese de som em mapas de segmentação em nível de objeto. Apresentamos o SAGANet, um novo modelo generativo multimodal que permite a geração controlada de áudio ao aproveitar máscaras de segmentação visual juntamente com pistas de vídeo e texto. Nosso modelo oferece aos usuários controle refinado e visualmente localizado sobre a geração de áudio. Para apoiar essa tarefa e promover mais pesquisas sobre Foley consciente de segmentação, propomos o Segmented Music Solos, um conjunto de dados de referência de vídeos de performance de instrumentos musicais com informações de segmentação. Nosso método demonstra melhorias substanciais em relação aos métodos atuais de ponta e estabelece um novo padrão para síntese de Foley controlável e de alta fidelidade. Código, amostras e o Segmented Music Solos estão disponíveis em https://saganet.notion.site.

English

Existing multimodal audio generation models often lack precise user control, which limits their applicability in professional Foley workflows. In particular, these models focus on the entire video and do not provide precise methods for prioritizing a specific object within a scene, generating unnecessary background sounds, or focusing on the wrong objects. To address this gap, we introduce the novel task of video object segmentation-aware audio generation, which explicitly conditions sound synthesis on object-level segmentation maps. We present SAGANet, a new multimodal generative model that enables controllable audio generation by leveraging visual segmentation masks along with video and textual cues. Our model provides users with fine-grained and visually localized control over audio generation. To support this task and further research on segmentation-aware Foley, we propose Segmented Music Solos, a benchmark dataset of musical instrument performance videos with segmentation information. Our method demonstrates substantial improvements over current state-of-the-art methods and sets a new standard for controllable, high-fidelity Foley synthesis. Code, samples, and Segmented Music Solos are available at https://saganet.notion.site