DreamBench++: Человеко-ориентированный бенчмарк для персонализированной генерации изображений

DreamBench++: A Human-Aligned Benchmark for Personalized Image Generation

June 24, 2024

Авторы: Yuang Peng, Yuxin Cui, Haomiao Tang, Zekun Qi, Runpei Dong, Jing Bai, Chunrui Han, Zheng Ge, Xiangyu Zhang, Shu-Tao Xia

cs.AI

Аннотация

Персонализированная генерация изображений обладает большим потенциалом для помощи людям в повседневной работе и жизни благодаря ее впечатляющей функции творческого создания персонализированного контента. Однако текущие оценки либо автоматизированы, но не соответствуют людям, либо требуют оценки людьми, что занимает много времени и денег. В данной работе мы представляем DreamBench++, бенчмарк, выровненный по человеку, автоматизированный с помощью передовых мультимодальных моделей GPT. Конкретно, мы систематически разрабатываем подсказки, чтобы GPT был как выровнен по человеку, так и сам по себе, усиленный задачей обратной связи. Кроме того, мы создаем обширный набор данных, включающий разнообразные изображения и подсказки. Проведя сравнительный анализ 7 современных генеративных моделей, мы демонстрируем, что DreamBench++ приводит к значительно более выровненной по человеку оценке, способствуя развитию сообщества через инновационные результаты.

English

Personalized image generation holds great promise in assisting humans in everyday work and life due to its impressive function in creatively generating personalized content. However, current evaluations either are automated but misalign with humans or require human evaluations that are time-consuming and expensive. In this work, we present DreamBench++, a human-aligned benchmark automated by advanced multimodal GPT models. Specifically, we systematically design the prompts to let GPT be both human-aligned and self-aligned, empowered with task reinforcement. Further, we construct a comprehensive dataset comprising diverse images and prompts. By benchmarking 7 modern generative models, we demonstrate that DreamBench++ results in significantly more human-aligned evaluation, helping boost the community with innovative findings.