Zelftoeziende audiovisuele klanklandschap-stylisatie

Self-Supervised Audio-Visual Soundscape Stylization

September 22, 2024

Auteurs: Tingle Li, Renhao Wang, Po-Yao Huang, Andrew Owens, Gopala Anumanchipalli

cs.AI

Samenvatting

Spraakklanken bevatten veel informatie over scènes, resulterend in verschillende effecten variërend van galm tot extra omgevingsgeluiden. In dit artikel manipuleren we invoerspraak om te klinken alsof het is opgenomen in een andere scène, gegeven een audiovisueel voorbeeld opgenomen vanuit die scène. Ons model leert door zelftoezicht te gebruiken, waarbij wordt geprofiteerd van het feit dat natuurlijke video's terugkerende geluidgebeurtenissen en texturen bevatten. We extraheren een audioclip uit een video en passen spraakverbetering toe. Vervolgens trainen we een latent diffusiemodel om de originele spraak te herstellen, met behulp van een ander audiovisueel fragment uit een andere locatie in de video als conditionele hint. Via dit proces leert het model om de geluidseigenschappen van het conditionele voorbeeld over te brengen naar de invoerspraak. We tonen aan dat ons model succesvol kan worden getraind met ongelabelde, in het wild opgenomen video's, en dat een extra visueel signaal de geluidsvoorspellingsmogelijkheden kan verbeteren. Zie onze projectwebpagina voor videoreacties: https://tinglok.netlify.app/files/avsoundscape/

English

Speech sounds convey a great deal of information about the scenes, resulting in a variety of effects ranging from reverberation to additional ambient sounds. In this paper, we manipulate input speech to sound as though it was recorded within a different scene, given an audio-visual conditional example recorded from that scene. Our model learns through self-supervision, taking advantage of the fact that natural video contains recurring sound events and textures. We extract an audio clip from a video and apply speech enhancement. We then train a latent diffusion model to recover the original speech, using another audio-visual clip taken from elsewhere in the video as a conditional hint. Through this process, the model learns to transfer the conditional example's sound properties to the input speech. We show that our model can be successfully trained using unlabeled, in-the-wild videos, and that an additional visual signal can improve its sound prediction abilities. Please see our project webpage for video results: https://tinglok.netlify.app/files/avsoundscape/