T2AV-Compass : Vers une évaluation unifiée pour la génération texte-audio-vidéo
T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation
December 24, 2025
papers.authors: Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang, Yuanxing Zhang, Jialu Chen, Miao Deng, Jiahao Wang, Yubin Guo, Chenxi Liao, Yize Zhang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
papers.abstract
La génération texte-audio-vidéo (T2AV) vise à synthétiser une vidéo temporellement cohérente et un audio sémantiquement synchronisé à partir du langage naturel, mais son évaluation reste fragmentée, reposant souvent sur des métriques unimodales ou des benchmarks au périmètre restreint qui ne capturent pas l'alignement cross-modal, le respect des instructions et le réalisme perceptuel sous des prompts complexes. Pour remédier à cette limitation, nous présentons T2AV-Compass, un benchmark unifié pour l'évaluation complète des systèmes T2AV, comprenant 500 prompts diversifiés et complexes construits via une pipeline guidée par une taxonomie afin d'assurer une richesse sémantique et une plausibilité physique. Par ailleurs, T2AV-Compass introduit un cadre d'évaluation à double niveau qui intègre des métriques objectives au niveau du signal pour la qualité vidéo, la qualité audio et l'alignement cross-modal, avec un protocole subjectif MLLM-comme-juge pour l'évaluation du respect des instructions et du réalisme. L'évaluation approfondie de 11 systèmes T2AV représentatifs révèle que même les modèles les plus performants restent très en deçà du réalisme humain et de la cohérence cross-modale, avec des échecs persistants en matière de réalisme audio, de synchronisation fine, de respect des instructions, etc. Ces résultats indiquent une marge d'amélioration significative pour les futurs modèles et soulignent la valeur de T2AV-Compass comme banc d'essai à la fois exigeant et diagnostique pour faire progresser la génération texte-audio-vidéo.
English
Text-to-Audio-Video (T2AV) generation aims to synthesize temporally coherent video and semantically synchronized audio from natural language, yet its evaluation remains fragmented, often relying on unimodal metrics or narrowly scoped benchmarks that fail to capture cross-modal alignment, instruction following, and perceptual realism under complex prompts. To address this limitation, we present T2AV-Compass, a unified benchmark for comprehensive evaluation of T2AV systems, consisting of 500 diverse and complex prompts constructed via a taxonomy-driven pipeline to ensure semantic richness and physical plausibility. Besides, T2AV-Compass introduces a dual-level evaluation framework that integrates objective signal-level metrics for video quality, audio quality, and cross-modal alignment with a subjective MLLM-as-a-Judge protocol for instruction following and realism assessment. Extensive evaluation of 11 representative T2AVsystems reveals that even the strongest models fall substantially short of human-level realism and cross-modal consistency, with persistent failures in audio realism, fine-grained synchronization, instruction following, etc. These results indicate significant improvement room for future models and highlight the value of T2AV-Compass as a challenging and diagnostic testbed for advancing text-to-audio-video generation.