Gemaskerde Generatieve Video-naar-Audio Transformers met Verbeterde Synchronisatie

Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity

July 15, 2024

Auteurs: Santiago Pascual, Chunghsin Yeh, Ioannis Tsiamas, Joan Serrà

cs.AI

Samenvatting

Video-to-audio (V2A) generatie maakt gebruik van visuele video-eigenschappen om geloofwaardige geluiden te creëren die bij de scène passen. Het is belangrijk dat de gegenereerde geluidsaanzetten overeenkomen met de visuele acties waarmee ze zijn uitgelijnd, anders ontstaan er onnatuurlijke synchronisatie-artefacten. Recente onderzoeken hebben de voortgang verkend van het conditioneren van geluidsgeneratoren op stilstaande beelden en vervolgens op video-eigenschappen, waarbij de focus lag op kwaliteit en semantische overeenkomst terwijl synchronisatie werd genegeerd, of door een deel van de kwaliteit op te offeren om alleen de synchronisatie te verbeteren. In dit werk stellen we een V2A generatief model voor, genaamd MaskVAT, dat een full-band high-quality algemene audiocodec verbindt met een sequence-to-sequence gemaskerd generatief model. Deze combinatie maakt het mogelijk om zowel hoge audiokwaliteit, semantische overeenkomst als temporele synchroniteit tegelijkertijd te modelleren. Onze resultaten laten zien dat, door een high-quality codec te combineren met de juiste vooraf getrainde audio-visuele eigenschappen en een sequence-to-sequence parallelle structuur, we enerzijds sterk gesynchroniseerde resultaten kunnen behalen, terwijl we anderzijds competitief zijn met de state-of-the-art van niet-codec generatieve audiomodellen. Voorbeeldvideo's en gegenereerde audio's zijn beschikbaar op https://maskvat.github.io.

English

Video-to-audio (V2A) generation leverages visual-only video features to render plausible sounds that match the scene. Importantly, the generated sound onsets should match the visual actions that are aligned with them, otherwise unnatural synchronization artifacts arise. Recent works have explored the progression of conditioning sound generators on still images and then video features, focusing on quality and semantic matching while ignoring synchronization, or by sacrificing some amount of quality to focus on improving synchronization only. In this work, we propose a V2A generative model, named MaskVAT, that interconnects a full-band high-quality general audio codec with a sequence-to-sequence masked generative model. This combination allows modeling both high audio quality, semantic matching, and temporal synchronicity at the same time. Our results show that, by combining a high-quality codec with the proper pre-trained audio-visual features and a sequence-to-sequence parallel structure, we are able to yield highly synchronized results on one hand, whilst being competitive with the state of the art of non-codec generative audio models. Sample videos and generated audios are available at https://maskvat.github.io .