AVGen-Bench: Задачно-ориентированный бенчмарк для многогранулярной оценки генерации видео с аудио по текстовому описанию
AVGen-Bench: A Task-Driven Benchmark for Multi-Granular Evaluation of Text-to-Audio-Video Generation
April 9, 2026
Авторы: Ziwei Zhou, Zeyuan Lai, Rui Wang, Yifan Yang, Zhen Xing, Yuqing Yang, Qi Dai, Lili Qiu, Chong Luo
cs.AI
Аннотация
Генерация "текст-в-аудио-видео" (T2AV) быстро становится основным интерфейсом для создания медиаконтента, однако её оценка остаётся фрагментированной. Существующие бенчмарки в основном оценивают аудио и видео по отдельности или полагаются на грубую схожесть эмбеддингов, не улавливая детальную совместную корректность, требуемую реалистичными промптами. Мы представляем AVGen-Bench — ориентированный на задачу бенчмарк для генерации T2AV, содержащий высококачественные промпты из 11 реальных категорий. Для комплексной оценки мы предлагаем многомасштабную оценочную систему, которая сочетает легковесные специализированные модели с мультимодальными большими языковыми моделями (MLLM), позволяя проводить оценку от перцептивного качества до детализированной семантической управляемости. Наша оценка выявляет значительный разрыв между сильной аудиовизуальной эстетикой и слабой семантической надежностью, включая устойчивые ошибки в рендеринге текста, связности речи, физических рассуждениях и повсеместный сбой в управлении музыкальным строем. Код и ресурсы бенчмарка доступны по адресу http://aka.ms/avgenbench.
English
Text-to-Audio-Video (T2AV) generation is rapidly becoming a core interface for media creation, yet its evaluation remains fragmented. Existing benchmarks largely assess audio and video in isolation or rely on coarse embedding similarity, failing to capture the fine-grained joint correctness required by realistic prompts. We introduce AVGen-Bench, a task-driven benchmark for T2AV generation featuring high-quality prompts across 11 real-world categories. To support comprehensive assessment, we propose a multi-granular evaluation framework that combines lightweight specialist models with Multimodal Large Language Models (MLLMs), enabling evaluation from perceptual quality to fine-grained semantic controllability. Our evaluation reveals a pronounced gap between strong audio-visual aesthetics and weak semantic reliability, including persistent failures in text rendering, speech coherence, physical reasoning, and a universal breakdown in musical pitch control. Code and benchmark resources are available at http://aka.ms/avgenbench.