Naar Streaming Gesynchroniseerde Ruimtelijke Audiogeneratie via Autoregressieve Diffusie Transformer

Samenvatting

Real-time en accurate ruimtelijke audiogeneratie is cruciaal voor het leveren van een meeslepende ervaring. Bestaande technologieën voor ruimtelijke audiosynthese worden echter vaak gehinderd door een afweging tussen generatiekwaliteit en hoge inferentievertraging, evenals moeite met het vastleggen van precieze ruimtelijke informatie uit multimodale inputs. Om deze uitdagingen aan te pakken, introduceren wij SwanSphere, een uniform streamingframework voor hoogwaardige ruimtelijke audiogeneratie uit panoramavideo's en tekstprompts. SwanSphere levert voornamelijk de volgende bijdragen: 1) Wij introduceren een causale autoregressieve diffusietransformatorarchitectuur die streaming van hoogwaardige ruimtelijke audiogeneratie mogelijk maakt. 2) Wij ontwerpen een ruimtelijke video-audio contrastieve (SVAC) leerstrategie om de video-encoder af te stemmen op het akoestische domein, en passen verder een multi-objectieve online directe preferentieoptimalisatie (ODPO)-schema toe, wat resulteert in sterke ruimtelijke perceptie en robuuste multimodale ruimtelijke audiosynthese. 3) Om het huidige tekort aan datasets voor ruimtelijke audio te verlichten, ontwikkelen wij ook een geautomatiseerde annotatiepijplijn voor het genereren van gedetailleerde ruimtelijke bijschriften. Experimentele resultaten tonen aan dat SwanSphere superieure prestaties levert in zowel video-naar-ruimtelijke als tekst-naar-ruimtelijke audiogeneratietaken. Demo's zijn te vinden op: https://swanaigc.github.io.

English

Real-time and accurate spatial audio generation is pivotal for delivering an immersive experience. However, existing spatial audio synthesis technologies are often encumbered by a tradeoff between generation quality and high inference latency, as well as difficulty in capturing precise spatial information from multimodal inputs. To address these challenges, we propose SwanSphere, a unified streaming framework for high-fidelity spatial audio generation from panoramic videos and text prompts. SwanSphere mainly makes the following contributions: 1) We introduce a causal autoregressive diffusion transformer architecture that enables streaming high-quality spatial audio generation. 2) We design a Spatial Video-Audio Contrastive (SVAC) learning strategy to align the video encoder with the acoustic domain, and further employ a multi-objective online direct preference optimization (ODPO) scheme, resulting in strong spatial perception and robust multimodal spatial audio synthesis. 3) To alleviate the current scarcity of spatial audio datasets, we also develop an automated annotation pipeline for generating detailed spatial captions. Experimental results demonstrate that SwanSphere achieves superior performance in both video-to-spatial and text-to-spatial audio generation tasks. Demos can be found at: https://swanaigc.github.io.