DreamBench++：パーソナライズド画像生成のための人間志向ベンチマーク

DreamBench++: A Human-Aligned Benchmark for Personalized Image Generation

June 24, 2024

著者: Yuang Peng, Yuxin Cui, Haomiao Tang, Zekun Qi, Runpei Dong, Jing Bai, Chunrui Han, Zheng Ge, Xiangyu Zhang, Shu-Tao Xia

cs.AI

要旨

パーソナライズされた画像生成は、個別化されたコンテンツを創造的に生成するその印象的な機能により、人々の日常業務や生活を支援する上で大きな可能性を秘めています。しかし、現在の評価手法は、自動化されているものの人間の判断と乖離しているか、あるいは時間とコストがかかる人間による評価を必要としています。本研究では、先進的なマルチモーダルGPTモデルによって自動化された人間と整合性のあるベンチマーク、DreamBench++を提案します。具体的には、GPTが人間と整合性を持ちつつ自己整合性も保つよう、タスク強化を施したプロンプトを体系的に設計します。さらに、多様な画像とプロンプトから構成される包括的なデータセットを構築します。7つの最新生成モデルをベンチマークすることで、DreamBench++が人間とより整合性の高い評価をもたらし、革新的な知見を通じてコミュニティの発展を促進することを実証します。

English

Personalized image generation holds great promise in assisting humans in everyday work and life due to its impressive function in creatively generating personalized content. However, current evaluations either are automated but misalign with humans or require human evaluations that are time-consuming and expensive. In this work, we present DreamBench++, a human-aligned benchmark automated by advanced multimodal GPT models. Specifically, we systematically design the prompts to let GPT be both human-aligned and self-aligned, empowered with task reinforcement. Further, we construct a comprehensive dataset comprising diverse images and prompts. By benchmarking 7 modern generative models, we demonstrate that DreamBench++ results in significantly more human-aligned evaluation, helping boost the community with innovative findings.