Rumo à Geração de Áudio Espacial Sincronizado em Streaming via Transformer de Difusão Autorregressivo

Resumo

A geração de áudio espacial em tempo real e precisa é fundamental para proporcionar uma experiência imersiva. No entanto, as tecnologias existentes de síntese de áudio espacial são frequentemente prejudicadas por um compromisso entre a qualidade da geração e a alta latência de inferência, além da dificuldade em capturar informações espaciais precisas a partir de entradas multimodais. Para enfrentar esses desafios, propomos o SwanSphere, uma estrutura de streaming unificada para geração de áudio espacial de alta fidelidade a partir de vídeos panorâmicos e prompts de texto. O SwanSphere apresenta as seguintes contribuições principais: 1) Introduzimos uma arquitetura de transformador de difusão autorregressiva causal que permite a geração contínua de áudio espacial de alta qualidade. 2) Projetamos uma estratégia de aprendizado contrastivo vídeo-áudio espacial (SVAC) para alinhar o codificador de vídeo com o domínio acústico, e empregamos ainda um esquema de otimização direta de preferência multiobjetivo online (ODPO), resultando em forte percepção espacial e síntese robusta de áudio espacial multimodal. 3) Para mitigar a atual escassez de conjuntos de dados de áudio espacial, também desenvolvemos um pipeline de anotação automatizada para gerar descrições espaciais detalhadas. Os resultados experimentais demonstram que o SwanSphere alcança desempenho superior tanto em tarefas de geração de áudio espacial a partir de vídeo quanto a partir de texto. Demonstrações podem ser encontradas em: https://swanaigc.github.io.

English

Real-time and accurate spatial audio generation is pivotal for delivering an immersive experience. However, existing spatial audio synthesis technologies are often encumbered by a tradeoff between generation quality and high inference latency, as well as difficulty in capturing precise spatial information from multimodal inputs. To address these challenges, we propose SwanSphere, a unified streaming framework for high-fidelity spatial audio generation from panoramic videos and text prompts. SwanSphere mainly makes the following contributions: 1) We introduce a causal autoregressive diffusion transformer architecture that enables streaming high-quality spatial audio generation. 2) We design a Spatial Video-Audio Contrastive (SVAC) learning strategy to align the video encoder with the acoustic domain, and further employ a multi-objective online direct preference optimization (ODPO) scheme, resulting in strong spatial perception and robust multimodal spatial audio synthesis. 3) To alleviate the current scarcity of spatial audio datasets, we also develop an automated annotation pipeline for generating detailed spatial captions. Experimental results demonstrate that SwanSphere achieves superior performance in both video-to-spatial and text-to-spatial audio generation tasks. Demos can be found at: https://swanaigc.github.io.