T2AV-Compass: Auf dem Weg zu einer einheitlichen Bewertung für die Text-zu-Audio-Video-Generierung
T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation
December 24, 2025
papers.authors: Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang, Yuanxing Zhang, Jialu Chen, Miao Deng, Jiahao Wang, Yubin Guo, Chenxi Liao, Yize Zhang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
papers.abstract
Text-to-Audio-Video (T2AV)-Generierung zielt darauf ab, zeitlich kohärente Videos und semantisch synchronisierte Audiodaten aus natürlicher Sprache zu synthetisieren. Dennoch bleibt ihre Evaluation fragmentiert und stützt sich häufig auf unimodale Metriken oder eng gefasste Benchmarks, die keine cross-modale Ausrichtung, Befolgung von Instruktionen und perzeptuelle Realitätsnähe unter komplexen Prompts erfassen. Um diese Einschränkung zu adressieren, stellen wir T2AV-Compass vor – einen vereinheitlichten Benchmark für die umfassende Evaluation von T2AV-Systemen. Dieser besteht aus 500 diversen und komplexen Prompts, die über eine taxonomiegesteuerte Pipeline konstruiert wurden, um semantische Reichhaltigkeit und physikalische Plausibilität zu gewährleisten. Zudem führt T2AV-Compass ein dual-level Evaluationsframework ein, das objektive signalbasierte Metriken für Videoqualität, Audioqualität und cross-modale Synchronisation mit einem subjektiven MLLM-as-a-Judge-Protokoll zur Überprüfung der Instruktionsbefolgung und Realismusbewertung integriert. Eine umfangreiche Evaluation von 11 repräsentativen T2AV-Systemen zeigt, dass selbst die leistungsstärksten Modelle deutlich hinter menschlicher Realitätsnähe und cross-modaler Konsistenz zurückbleiben, mit anhaltenden Defiziten in Audio-Realismus, feinkörniger Synchronisation und Instruktionsbefolgung. Diese Ergebnisse deuten auf erheblichen Verbesserungsbedarf für zukünftige Modelle hin und unterstreichen den Wert von T2AV-Compass als anspruchsvolles und diagnostisches Testfeld für die Weiterentwicklung der Text-zu-Audio-Video-Generierung.
English
Text-to-Audio-Video (T2AV) generation aims to synthesize temporally coherent video and semantically synchronized audio from natural language, yet its evaluation remains fragmented, often relying on unimodal metrics or narrowly scoped benchmarks that fail to capture cross-modal alignment, instruction following, and perceptual realism under complex prompts. To address this limitation, we present T2AV-Compass, a unified benchmark for comprehensive evaluation of T2AV systems, consisting of 500 diverse and complex prompts constructed via a taxonomy-driven pipeline to ensure semantic richness and physical plausibility. Besides, T2AV-Compass introduces a dual-level evaluation framework that integrates objective signal-level metrics for video quality, audio quality, and cross-modal alignment with a subjective MLLM-as-a-Judge protocol for instruction following and realism assessment. Extensive evaluation of 11 representative T2AVsystems reveals that even the strongest models fall substantially short of human-level realism and cross-modal consistency, with persistent failures in audio realism, fine-grained synchronization, instruction following, etc. These results indicate significant improvement room for future models and highlight the value of T2AV-Compass as a challenging and diagnostic testbed for advancing text-to-audio-video generation.