Transformadores Generativos de Video a Audio enmascarados con Sincronicidad Mejorada

Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity

July 15, 2024

Autores: Santiago Pascual, Chunghsin Yeh, Ioannis Tsiamas, Joan Serrà

cs.AI

Resumen

La generación de video a audio (V2A) aprovecha características visuales de video exclusivamente para producir sonidos plausibles que se ajusten a la escena. Es crucial que los comienzos de los sonidos generados coincidan con las acciones visuales alineadas con ellos, de lo contrario surgen artefactos de sincronización poco naturales. Trabajos recientes han explorado la progresión de condicionar generadores de sonido en imágenes fijas y luego en características de video, centrándose en la calidad y la coincidencia semántica mientras ignoran la sincronización, o sacrificando cierta calidad para mejorar únicamente la sincronización. En este trabajo, proponemos un modelo generativo V2A, llamado MaskVAT, que interconecta un códec de audio general de alta calidad de banda completa con un modelo generativo enmascarado secuencia a secuencia. Esta combinación permite modelar tanto alta calidad de audio, coincidencia semántica y sincronización temporal al mismo tiempo. Nuestros resultados muestran que, al combinar un códec de alta calidad con las características audiovisuales pre-entrenadas adecuadas y una estructura paralela secuencia a secuencia, logramos obtener resultados altamente sincronizados por un lado, siendo competitivos con el estado del arte de modelos generativos de audio no códec. Videos de muestra y audios generados están disponibles en https://maskvat.github.io.

English

Video-to-audio (V2A) generation leverages visual-only video features to render plausible sounds that match the scene. Importantly, the generated sound onsets should match the visual actions that are aligned with them, otherwise unnatural synchronization artifacts arise. Recent works have explored the progression of conditioning sound generators on still images and then video features, focusing on quality and semantic matching while ignoring synchronization, or by sacrificing some amount of quality to focus on improving synchronization only. In this work, we propose a V2A generative model, named MaskVAT, that interconnects a full-band high-quality general audio codec with a sequence-to-sequence masked generative model. This combination allows modeling both high audio quality, semantic matching, and temporal synchronicity at the same time. Our results show that, by combining a high-quality codec with the proper pre-trained audio-visual features and a sequence-to-sequence parallel structure, we are able to yield highly synchronized results on one hand, whilst being competitive with the state of the art of non-codec generative audio models. Sample videos and generated audios are available at https://maskvat.github.io .