T2AV-Compass: Hacia una Evaluación Unificada para la Generación de Audio-Video a partir de Texto
T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation
December 24, 2025
Autores: Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang, Yuanxing Zhang, Jialu Chen, Miao Deng, Jiahao Wang, Yubin Guo, Chenxi Liao, Yize Zhang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
Resumen
La generación Texto-a-Audio-Vídeo (T2AV) tiene como objetivo sintetizar vídeo temporalmente coherente y audio semánticamente sincronizado a partir de lenguaje natural, pero su evaluación sigue estando fragmentada, basándose a menudo en métricas unimodales o benchmarks de alcance limitado que no logran capturar la alineación cross-modal, el seguimiento de instrucciones y el realismo perceptivo bajo instrucciones complejas. Para abordar esta limitación, presentamos T2AV-Compass, un benchmark unificado para la evaluación integral de sistemas T2AV, que consta de 500 instrucciones diversas y complejas construidas mediante una pipeline basada en taxonomías para garantizar riqueza semántica y plausibilidad física. Además, T2AV-Compass introduce un marco de evaluación de doble nivel que integra métricas objetivas a nivel de señal para la calidad de vídeo, calidad de audio y alineación cross-modal, con un protocolo subjetivo MLLM-como-Juez para evaluar el seguimiento de instrucciones y el realismo. La evaluación exhaustiva de 11 sistemas T2AV representativos revela que incluso los modelos más potentes distan considerablemente del realismo y la coherencia cross-modal a nivel humano, con fallos persistentes en realismo de audio, sincronización de grano fino, seguimiento de instrucciones, etc. Estos resultados indican un margen de mejora significativo para los modelos futuros y destacan el valor de T2AV-Compass como un banco de pruebas desafiante y diagnóstico para avanzar en la generación texto-audio-vídeo.
English
Text-to-Audio-Video (T2AV) generation aims to synthesize temporally coherent video and semantically synchronized audio from natural language, yet its evaluation remains fragmented, often relying on unimodal metrics or narrowly scoped benchmarks that fail to capture cross-modal alignment, instruction following, and perceptual realism under complex prompts. To address this limitation, we present T2AV-Compass, a unified benchmark for comprehensive evaluation of T2AV systems, consisting of 500 diverse and complex prompts constructed via a taxonomy-driven pipeline to ensure semantic richness and physical plausibility. Besides, T2AV-Compass introduces a dual-level evaluation framework that integrates objective signal-level metrics for video quality, audio quality, and cross-modal alignment with a subjective MLLM-as-a-Judge protocol for instruction following and realism assessment. Extensive evaluation of 11 representative T2AVsystems reveals that even the strongest models fall substantially short of human-level realism and cross-modal consistency, with persistent failures in audio realism, fine-grained synchronization, instruction following, etc. These results indicate significant improvement room for future models and highlight the value of T2AV-Compass as a challenging and diagnostic testbed for advancing text-to-audio-video generation.