Transformateurs génératifs masqués vidéo-vers-audio avec synchronisation améliorée

Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity

July 15, 2024

Auteurs: Santiago Pascual, Chunghsin Yeh, Ioannis Tsiamas, Joan Serrà

cs.AI

Résumé

La génération vidéo-vers-audio (V2A) exploite les caractéristiques visuelles d'une vidéo pour produire des sons plausibles correspondant à la scène. Il est crucial que les attaques sonores générées soient synchronisées avec les actions visuelles associées, sans quoi des artefacts de synchronisation non naturels apparaissent. Les travaux récents ont exploré l'évolution des générateurs de sons conditionnés d'abord sur des images fixes, puis sur des caractéristiques vidéo, en se concentrant sur la qualité et la correspondance sémantique tout en négligeant la synchronisation, ou en sacrifiant une partie de la qualité pour améliorer uniquement la synchronisation. Dans ce travail, nous proposons un modèle génératif V2A, nommé MaskVAT, qui interconnecte un codec audio général haute qualité en bande complète avec un modèle génératif masqué séquence-à-séquence. Cette combinaison permet de modéliser simultanément une haute qualité audio, une correspondance sémantique et une synchronisation temporelle. Nos résultats montrent qu'en combinant un codec haute qualité avec des caractéristiques audio-visuelles pré-entraînées appropriées et une structure parallèle séquence-à-séquence, nous parvenons à produire des résultats hautement synchronisés tout en restant compétitifs avec l'état de l'art des modèles génératifs audio non basés sur un codec. Des exemples de vidéos et de sons générés sont disponibles à l'adresse https://maskvat.github.io.

English

Video-to-audio (V2A) generation leverages visual-only video features to render plausible sounds that match the scene. Importantly, the generated sound onsets should match the visual actions that are aligned with them, otherwise unnatural synchronization artifacts arise. Recent works have explored the progression of conditioning sound generators on still images and then video features, focusing on quality and semantic matching while ignoring synchronization, or by sacrificing some amount of quality to focus on improving synchronization only. In this work, we propose a V2A generative model, named MaskVAT, that interconnects a full-band high-quality general audio codec with a sequence-to-sequence masked generative model. This combination allows modeling both high audio quality, semantic matching, and temporal synchronicity at the same time. Our results show that, by combining a high-quality codec with the proper pre-trained audio-visual features and a sequence-to-sequence parallel structure, we are able to yield highly synchronized results on one hand, whilst being competitive with the state of the art of non-codec generative audio models. Sample videos and generated audios are available at https://maskvat.github.io .