Generación de Audio a partir de Video con Alineación Oculta

Video-to-Audio Generation with Hidden Alignment

July 10, 2024

Autores: Manjie Xu, Chenxing Li, Yong Ren, Rilin Chen, Yu Gu, Wei Liang, Dong Yu

cs.AI

Resumen

La generación de contenido de audio semántica y temporalmente alineado de acuerdo con la entrada de video se ha convertido en un punto focal para los investigadores, especialmente después del notable avance en la generación de texto a video. En este trabajo, nuestro objetivo es ofrecer ideas sobre el paradigma de generación de video a audio, centrándonos en tres aspectos cruciales: codificadores de visión, incrustaciones auxiliares y técnicas de aumento de datos. Comenzando con un modelo fundamental VTA-LDM construido sobre una intuición simple pero sorprendentemente efectiva, exploramos varios codificadores de visión e incrustaciones auxiliares a través de estudios de ablación. Empleando un pipeline de evaluación integral que enfatiza la calidad de generación y la alineación de sincronización de video y audio, demostramos que nuestro modelo exhibe capacidades de generación de video a audio de última generación. Además, proporcionamos ideas críticas sobre el impacto de diferentes métodos de aumento de datos en la mejora de la capacidad general del marco de generación. Mostramos posibilidades para avanzar en el desafío de generar audio sincronizado desde perspectivas semánticas y temporales. Esperamos que estas ideas sirvan como un trampolín hacia el desarrollo de modelos de generación audiovisual más realistas y precisos.

English

Generating semantically and temporally aligned audio content in accordance with video input has become a focal point for researchers, particularly following the remarkable breakthrough in text-to-video generation. In this work, we aim to offer insights into the video-to-audio generation paradigm, focusing on three crucial aspects: vision encoders, auxiliary embeddings, and data augmentation techniques. Beginning with a foundational model VTA-LDM built on a simple yet surprisingly effective intuition, we explore various vision encoders and auxiliary embeddings through ablation studies. Employing a comprehensive evaluation pipeline that emphasizes generation quality and video-audio synchronization alignment, we demonstrate that our model exhibits state-of-the-art video-to-audio generation capabilities. Furthermore, we provide critical insights into the impact of different data augmentation methods on enhancing the generation framework's overall capacity. We showcase possibilities to advance the challenge of generating synchronized audio from semantic and temporal perspectives. We hope these insights will serve as a stepping stone toward developing more realistic and accurate audio-visual generation models.