DreamBench++: 개인화된 이미지 생성을 위한 인간 중심 벤치마크

DreamBench++: A Human-Aligned Benchmark for Personalized Image Generation

June 24, 2024

저자: Yuang Peng, Yuxin Cui, Haomiao Tang, Zekun Qi, Runpei Dong, Jing Bai, Chunrui Han, Zheng Ge, Xiangyu Zhang, Shu-Tao Xia

cs.AI

초록

개인화된 이미지 생성은 창의적으로 맞춤형 콘텐츠를 생성하는 인상적인 기능 덕분에 인간의 일상적인 업무와 생활을 지원하는 데 큰 잠재력을 가지고 있습니다. 그러나 현재의 평가 방법은 자동화되었지만 인간과의 정렬이 부족하거나, 시간과 비용이 많이 드는 인간 평가를 필요로 합니다. 본 연구에서는 고급 멀티모달 GPT 모델을 통해 자동화된 인간 정렬 벤치마크인 DreamBench++를 제안합니다. 구체적으로, 우리는 GPT가 인간과 정렬되면서도 자기 정렬을 유지할 수 있도록 체계적으로 프롬프트를 설계하고, 이를 과제 강화로 강화했습니다. 더 나아가, 다양한 이미지와 프롬프트로 구성된 포괄적인 데이터셋을 구축했습니다. 7개의 현대적 생성 모델을 벤치마킹한 결과, DreamBench++가 훨씬 더 인간 정렬된 평가를 제공하며, 혁신적인 발견을 통해 커뮤니티를 발전시키는 데 도움을 준다는 것을 입증했습니다.

English

Personalized image generation holds great promise in assisting humans in everyday work and life due to its impressive function in creatively generating personalized content. However, current evaluations either are automated but misalign with humans or require human evaluations that are time-consuming and expensive. In this work, we present DreamBench++, a human-aligned benchmark automated by advanced multimodal GPT models. Specifically, we systematically design the prompts to let GPT be both human-aligned and self-aligned, empowered with task reinforcement. Further, we construct a comprehensive dataset comprising diverse images and prompts. By benchmarking 7 modern generative models, we demonstrate that DreamBench++ results in significantly more human-aligned evaluation, helping boost the community with innovative findings.