Генерация аудио с учетом сегментации видеообъектов

Video Object Segmentation-Aware Audio Generation

September 30, 2025

Авторы: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

Аннотация

Существующие мультимодальные модели генерации аудио часто не обеспечивают точного контроля со стороны пользователя, что ограничивает их применимость в профессиональных процессах создания звуковых эффектов (Foley). В частности, эти модели сосредоточены на видео в целом и не предоставляют точных методов для выделения конкретного объекта в сцене, генерируя ненужные фоновые звуки или фокусируясь на неправильных объектах. Для устранения этого пробела мы представляем новую задачу генерации аудио с учетом сегментации объектов в видео, которая явно связывает синтез звука с картами сегментации на уровне объектов. Мы представляем SAGANet, новую мультимодальную генеративную модель, которая обеспечивает контролируемую генерацию аудио, используя визуальные маски сегментации вместе с видео и текстовыми подсказками. Наша модель предоставляет пользователям детализированный и визуально локализованный контроль над генерацией аудио. Для поддержки этой задачи и дальнейших исследований в области создания звуковых эффектов с учетом сегментации мы предлагаем Segmented Music Solos — эталонный набор данных с видео исполнения музыкальных инструментов, содержащий информацию о сегментации. Наш метод демонстрирует значительные улучшения по сравнению с современными передовыми методами и устанавливает новый стандарт для контролируемого синтеза звуковых эффектов высокой точности. Код, примеры и набор данных Segmented Music Solos доступны по адресу https://saganet.notion.site.

English

Existing multimodal audio generation models often lack precise user control, which limits their applicability in professional Foley workflows. In particular, these models focus on the entire video and do not provide precise methods for prioritizing a specific object within a scene, generating unnecessary background sounds, or focusing on the wrong objects. To address this gap, we introduce the novel task of video object segmentation-aware audio generation, which explicitly conditions sound synthesis on object-level segmentation maps. We present SAGANet, a new multimodal generative model that enables controllable audio generation by leveraging visual segmentation masks along with video and textual cues. Our model provides users with fine-grained and visually localized control over audio generation. To support this task and further research on segmentation-aware Foley, we propose Segmented Music Solos, a benchmark dataset of musical instrument performance videos with segmentation information. Our method demonstrates substantial improvements over current state-of-the-art methods and sets a new standard for controllable, high-fidelity Foley synthesis. Code, samples, and Segmented Music Solos are available at https://saganet.notion.site