T2AV-Compass: К единой оценке генерации аудио-видео по тексту
T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation
December 24, 2025
Авторы: Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang, Yuanxing Zhang, Jialu Chen, Miao Deng, Jiahao Wang, Yubin Guo, Chenxi Liao, Yize Zhang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
Аннотация
Генерация видео со звуком по текстовому описанию (Text-to-Audio-Video, T2AV) ставит целью синтез временно согласованного видео и семантически синхронизированного аудио на основе естественного языка. Однако её оценка остаётся фрагментированной и часто опирается на унимодальные метрики или узкоспециализированные бенчмарки, которые не способны адекватно оценить кросс-модальное соответствие, следование инструкциям и перцептивную реалистичность при сложных запросах. Чтобы устранить этот недостаток, мы представляем T2AV-Compass — унифицированный бенчмарк для комплексной оценки систем T2AV, состоящий из 500 разнообразных и сложных промптов, созданных по таксономически управляемому конвейеру для обеспечения семантической насыщенности и физической правдоподобности. Кроме того, T2AV-Compass вводит двухуровневую систему оценки, которая интегрирует объективные сигнальные метрики для оценки качества видео, качества аудио и кросс-модального соответствия с субъективным протоколом MLLM-as-a-Judge для оценки следования инструкциям и реалистичности. Обширная оценка 11 репрезентативных систем T2AV показывает, что даже самые мощные модели существенно не дотягивают до уровня человеческой реалистичности и кросс-модальной согласованности, демонстрируя устойчивые проблемы с реалистичностью аудио, тонкой синхронизацией, следованием инструкциям и т.д. Эти результаты указывают на значительный простор для улучшения будущих моделей и подчёркивают ценность T2AV-Compass как сложного и диагностического тестового набора для продвижения в области генерации видео со звуком по текстовому описанию.
English
Text-to-Audio-Video (T2AV) generation aims to synthesize temporally coherent video and semantically synchronized audio from natural language, yet its evaluation remains fragmented, often relying on unimodal metrics or narrowly scoped benchmarks that fail to capture cross-modal alignment, instruction following, and perceptual realism under complex prompts. To address this limitation, we present T2AV-Compass, a unified benchmark for comprehensive evaluation of T2AV systems, consisting of 500 diverse and complex prompts constructed via a taxonomy-driven pipeline to ensure semantic richness and physical plausibility. Besides, T2AV-Compass introduces a dual-level evaluation framework that integrates objective signal-level metrics for video quality, audio quality, and cross-modal alignment with a subjective MLLM-as-a-Judge protocol for instruction following and realism assessment. Extensive evaluation of 11 representative T2AVsystems reveals that even the strongest models fall substantially short of human-level realism and cross-modal consistency, with persistent failures in audio realism, fine-grained synchronization, instruction following, etc. These results indicate significant improvement room for future models and highlight the value of T2AV-Compass as a challenging and diagnostic testbed for advancing text-to-audio-video generation.