DreamBench++ : Un benchmark aligné sur l'humain pour la génération d'images personnalisées

DreamBench++: A Human-Aligned Benchmark for Personalized Image Generation

June 24, 2024

Auteurs: Yuang Peng, Yuxin Cui, Haomiao Tang, Zekun Qi, Runpei Dong, Jing Bai, Chunrui Han, Zheng Ge, Xiangyu Zhang, Shu-Tao Xia

cs.AI

Résumé

La génération d'images personnalisées offre un grand potentiel pour assister les humains dans leur travail et leur vie quotidienne grâce à sa capacité impressionnante à créer du contenu personnalisé de manière créative. Cependant, les évaluations actuelles sont soit automatisées mais mal alignées avec les jugements humains, soit nécessitent des évaluations humaines qui sont chronophages et coûteuses. Dans ce travail, nous présentons DreamBench++, un benchmark aligné sur les humains et automatisé grâce à des modèles GPT multimodaux avancés. Plus précisément, nous concevons systématiquement des prompts pour que GPT soit à la fois aligné sur les humains et sur lui-même, renforcé par une spécialisation aux tâches. De plus, nous construisons un ensemble de données complet comprenant des images et des prompts variés. En évaluant 7 modèles génératifs modernes, nous démontrons que DreamBench++ produit des évaluations significativement plus alignées sur les humains, contribuant ainsi à faire progresser la communauté avec des découvertes innovantes.

English

Personalized image generation holds great promise in assisting humans in everyday work and life due to its impressive function in creatively generating personalized content. However, current evaluations either are automated but misalign with humans or require human evaluations that are time-consuming and expensive. In this work, we present DreamBench++, a human-aligned benchmark automated by advanced multimodal GPT models. Specifically, we systematically design the prompts to let GPT be both human-aligned and self-aligned, empowered with task reinforcement. Further, we construct a comprehensive dataset comprising diverse images and prompts. By benchmarking 7 modern generative models, we demonstrate that DreamBench++ results in significantly more human-aligned evaluation, helping boost the community with innovative findings.