BizGenEval: Систематический эталонный тест для коммерческой генерации визуального контента
BizGenEval: A Systematic Benchmark for Commercial Visual Content Generation
March 26, 2026
Авторы: Yan Li, Zezi Zeng, Ziwei Zhou, Xin Gao, Muzhao Tian, Yifan Yang, Mingxi Cheng, Qi Dai, Yuqing Yang, Lili Qiu, Zhendong Wang, Zhengyuan Yang, Xue Yang, Lijuan Wang, Ji Li, Chong Luo
cs.AI
Аннотация
Последние достижения в области моделей генерации изображений расширили сферу их применения за пределы создания эстетических изображений в сторону практического создания визуального контента. Однако существующие бенчмарки в основном сосредоточены на синтезе натуральных изображений и не позволяют систематически оценивать модели в условиях структурированных и многоограниченных требований реальных коммерческих дизайнерских задач. В данной работе мы представляем BizGenEval — систематический бенчмарк для коммерческой генерации визуального контента. Бенчмарк охватывает пять репрезентативных типов документов: слайды, диаграммы, веб-страницы, постеры и научные иллюстрации, и оценивает четыре ключевых аспекта возможностей: рендеринг текста, управление компоновкой, привязка атрибутов и логические рассуждения на основе знаний, формируя 20 разнообразных оценочных задач. BizGenEval содержит 400 тщательно отобранных промптов и 8000 проверенных человеком контрольных вопросов для строгой оценки того, удовлетворяют ли сгенерированные изображения сложным визуальным и семантическим ограничениям. Мы проводим масштабное тестирование 26 популярных систем генерации изображений, включая передовые коммерческие API и ведущие модели с открытым исходным кодом. Результаты выявляют существенный разрыв между возможностями современных генеративных моделей и требованиями профессионального создания визуального контента. Мы надеемся, что BizGenEval послужит стандартизированным бенчмарком для реальной коммерческой генерации визуального контента.
English
Recent advances in image generation models have expanded their applications beyond aesthetic imagery toward practical visual content creation. However, existing benchmarks mainly focus on natural image synthesis and fail to systematically evaluate models under the structured and multi-constraint requirements of real-world commercial design tasks. In this work, we introduce BizGenEval, a systematic benchmark for commercial visual content generation. The benchmark spans five representative document types: slides, charts, webpages, posters, and scientific figures, and evaluates four key capability dimensions: text rendering, layout control, attribute binding, and knowledge-based reasoning, forming 20 diverse evaluation tasks. BizGenEval contains 400 carefully curated prompts and 8000 human-verified checklist questions to rigorously assess whether generated images satisfy complex visual and semantic constraints. We conduct large-scale benchmarking on 26 popular image generation systems, including state-of-the-art commercial APIs and leading open-source models. The results reveal substantial capability gaps between current generative models and the requirements of professional visual content creation. We hope BizGenEval serves as a standardized benchmark for real-world commercial visual content generation.