Maskierte generative Video-zu-Audio-Transformer mit verbesserte Synchronizität

Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity

July 15, 2024

Autoren: Santiago Pascual, Chunghsin Yeh, Ioannis Tsiamas, Joan Serrà

cs.AI

Zusammenfassung

Die Video-zu-Audio (V2A)-Generierung nutzt ausschließlich visuelle Video-Merkmale, um plausible Klänge zu erzeugen, die zur Szene passen. Es ist wichtig, dass die erzeugten Klanganfänge mit den visuellen Aktionen übereinstimmen, die mit ihnen ausgerichtet sind, da sonst unnatürliche Synchronisationsartefakte entstehen. In jüngsten Arbeiten wurde die Entwicklung von Klanggeneratoren untersucht, die zunächst auf Standbildern und dann auf Video-Merkmalen basieren, wobei der Schwerpunkt auf Qualität und semantischer Übereinstimmung lag, während die Synchronisation ignoriert wurde oder durch Opferung eines gewissen Maßes an Qualität zugunsten der Verbesserung der Synchronisation erreicht wurde. In dieser Arbeit schlagen wir ein V2A-generatives Modell namens MaskVAT vor, das einen vollständigen hochwertigen allgemeinen Audio-Codec mit einem Sequenz-zu-Sequenz maskierten generativen Modell verbindet. Diese Kombination ermöglicht es, sowohl eine hohe Audioqualität, semantische Übereinstimmung als auch zeitliche Synchronizität gleichzeitig zu modellieren. Unsere Ergebnisse zeigen, dass wir durch die Kombination eines hochwertigen Codecs mit den entsprechenden vorab trainierten audiovisuellen Merkmalen und einer Sequenz-zu-Sequenz-Parallelstruktur hochgradig synchronisierte Ergebnisse erzielen können, während wir auf der anderen Seite im Wettbewerb mit dem Stand der Technik nicht-Codec-generativer Audio-Modelle stehen. Beispiellvideos und generierte Audios sind unter https://maskvat.github.io verfügbar.

English

Video-to-audio (V2A) generation leverages visual-only video features to render plausible sounds that match the scene. Importantly, the generated sound onsets should match the visual actions that are aligned with them, otherwise unnatural synchronization artifacts arise. Recent works have explored the progression of conditioning sound generators on still images and then video features, focusing on quality and semantic matching while ignoring synchronization, or by sacrificing some amount of quality to focus on improving synchronization only. In this work, we propose a V2A generative model, named MaskVAT, that interconnects a full-band high-quality general audio codec with a sequence-to-sequence masked generative model. This combination allows modeling both high audio quality, semantic matching, and temporal synchronicity at the same time. Our results show that, by combining a high-quality codec with the proper pre-trained audio-visual features and a sequence-to-sequence parallel structure, we are able to yield highly synchronized results on one hand, whilst being competitive with the state of the art of non-codec generative audio models. Sample videos and generated audios are available at https://maskvat.github.io .