T2AV-Compass: Verso una Valutazione Unificata per la Generazione Testo-Audio-Video
T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation
December 24, 2025
Autori: Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang, Yuanxing Zhang, Jialu Chen, Miao Deng, Jiahao Wang, Yubin Guo, Chenxi Liao, Yize Zhang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
Abstract
La generazione Testo-Audio-Video (T2AV) mira a sintetizzare video temporalmente coerenti e audio semanticamente sincronizzati a partire da linguaggio naturale, ma la sua valutazione rimane frammentata, basandosi spesso su metriche unimodali o benchmark dallo scopo ristretto che non riescono a catturare l'allineamento cross-modale, l'aderenza alle istruzioni e il realismo percettivo con prompt complessi. Per affrontare questa limitazione, presentiamo T2AV-Compass, un benchmark unificato per la valutazione completa dei sistemi T2AV, costituito da 500 prompt diversificati e complessi costruiti attraverso una pipeline guidata da una tassonomia per garantire ricchezza semantica e plausibilità fisica. Inoltre, T2AV-Compass introduce un framework di valutazione a doppio livello che integra metriche oggettive a livello di segnale per la qualità video, la qualità audio e l'allineamento cross-modale con un protocollo soggettivo MLLM-as-a-Judge per valutare l'aderenza alle istruzioni e il realismo. Una valutazione estesa di 11 sistemi T2AV rappresentativi rivela che anche i modelli più potenti sono ancora notevolmente lontani dal realismo umano e dalla coerenza cross-modale, con fallimenti persistenti nel realismo audio, nella sincronizzazione fine, nell'aderenza alle istruzioni, ecc. Questi risultati indicano un margine di miglioramento significativo per i modelli futuri e sottolineano il valore di T2AV-Compass come banco di prova impegnativo e diagnostico per far progredire la generazione testo-audio-video.
English
Text-to-Audio-Video (T2AV) generation aims to synthesize temporally coherent video and semantically synchronized audio from natural language, yet its evaluation remains fragmented, often relying on unimodal metrics or narrowly scoped benchmarks that fail to capture cross-modal alignment, instruction following, and perceptual realism under complex prompts. To address this limitation, we present T2AV-Compass, a unified benchmark for comprehensive evaluation of T2AV systems, consisting of 500 diverse and complex prompts constructed via a taxonomy-driven pipeline to ensure semantic richness and physical plausibility. Besides, T2AV-Compass introduces a dual-level evaluation framework that integrates objective signal-level metrics for video quality, audio quality, and cross-modal alignment with a subjective MLLM-as-a-Judge protocol for instruction following and realism assessment. Extensive evaluation of 11 representative T2AVsystems reveals that even the strongest models fall substantially short of human-level realism and cross-modal consistency, with persistent failures in audio realism, fine-grained synchronization, instruction following, etc. These results indicate significant improvement room for future models and highlight the value of T2AV-Compass as a challenging and diagnostic testbed for advancing text-to-audio-video generation.