Hacia la generación de audio espacial sincronizado en streaming mediante un transformador de difusión autoregresivo

Resumen

La generación de audio espacial en tiempo real y precisa es fundamental para ofrecer una experiencia inmersiva. Sin embargo, las tecnologías actuales de síntesis de audio espacial suelen verse limitadas por un equilibrio entre la calidad de generación y la alta latencia de inferencia, así como por la dificultad de capturar información espacial precisa a partir de entradas multimodales. Para abordar estos desafíos, proponemos SwanSphere, un marco unificado de transmisión continua para la generación de audio espacial de alta fidelidad a partir de videos panorámicos y prompts de texto. SwanSphere realiza principalmente las siguientes contribuciones: 1) Introducimos una arquitectura de transformador de difusión autorregresivo causal que permite la generación continua de audio espacial de alta calidad. 2) Diseñamos una estrategia de aprendizaje de Contraste Espacial Video-Audio (SVAC) para alinear el codificador de video con el dominio acústico, y empleamos además un esquema de optimización directa de preferencias en línea (ODPO) multiobjetivo, lo que resulta en una fuerte percepción espacial y una síntesis robusta de audio espacial multimodal. 3) Para aliviar la actual escasez de conjuntos de datos de audio espacial, también desarrollamos un pipeline de anotación automatizada para generar descripciones espaciales detalladas. Los resultados experimentales demuestran que SwanSphere logra un rendimiento superior tanto en tareas de generación de audio espacial a partir de video como de texto a audio espacial. Las demostraciones se pueden encontrar en: https://swanaigc.github.io.

English

Real-time and accurate spatial audio generation is pivotal for delivering an immersive experience. However, existing spatial audio synthesis technologies are often encumbered by a tradeoff between generation quality and high inference latency, as well as difficulty in capturing precise spatial information from multimodal inputs. To address these challenges, we propose SwanSphere, a unified streaming framework for high-fidelity spatial audio generation from panoramic videos and text prompts. SwanSphere mainly makes the following contributions: 1) We introduce a causal autoregressive diffusion transformer architecture that enables streaming high-quality spatial audio generation. 2) We design a Spatial Video-Audio Contrastive (SVAC) learning strategy to align the video encoder with the acoustic domain, and further employ a multi-objective online direct preference optimization (ODPO) scheme, resulting in strong spatial perception and robust multimodal spatial audio synthesis. 3) To alleviate the current scarcity of spatial audio datasets, we also develop an automated annotation pipeline for generating detailed spatial captions. Experimental results demonstrate that SwanSphere achieves superior performance in both video-to-spatial and text-to-spatial audio generation tasks. Demos can be found at: https://swanaigc.github.io.