Самонадзорная стилизация звукового пейзажа с использованием аудио- и видеоданных

Self-Supervised Audio-Visual Soundscape Stylization

September 22, 2024

Авторы: Tingle Li, Renhao Wang, Po-Yao Huang, Andrew Owens, Gopala Anumanchipalli

cs.AI

Аннотация

Звуковые сигналы несут огромное количество информации о сценах, что приводит к различным эффектам, начиная от эха до дополнительных фоновых звуков. В данной статье мы изменяем входной речевой сигнал так, чтобы он звучал так, будто был записан в другой сцене, учитывая аудиовизуальный условный пример, записанный из этой сцены. Наша модель обучается через самонадзор, используя тот факт, что естественное видео содержит повторяющиеся звуковые события и текстуры. Мы извлекаем аудиофрагмент из видео и применяем улучшение речи. Затем мы обучаем модель латентного диффузионного процесса для восстановления исходной речи, используя другой аудиовизуальный фрагмент, взятый из другого места в видео, в качестве условного намека. Через этот процесс модель учится передавать звуковые свойства условного примера к входному речевому сигналу. Мы показываем, что нашу модель можно успешно обучить, используя не помеченные видео "in-the-wild", и что дополнительный визуальный сигнал может улучшить ее способности предсказания звука. Пожалуйста, посетите нашу веб-страницу проекта для видео-результатов: https://tinglok.netlify.app/files/avsoundscape/

English

Speech sounds convey a great deal of information about the scenes, resulting in a variety of effects ranging from reverberation to additional ambient sounds. In this paper, we manipulate input speech to sound as though it was recorded within a different scene, given an audio-visual conditional example recorded from that scene. Our model learns through self-supervision, taking advantage of the fact that natural video contains recurring sound events and textures. We extract an audio clip from a video and apply speech enhancement. We then train a latent diffusion model to recover the original speech, using another audio-visual clip taken from elsewhere in the video as a conditional hint. Through this process, the model learns to transfer the conditional example's sound properties to the input speech. We show that our model can be successfully trained using unlabeled, in-the-wild videos, and that an additional visual signal can improve its sound prediction abilities. Please see our project webpage for video results: https://tinglok.netlify.app/files/avsoundscape/