DreamBench++: Un Benchmark Allineato all'Umano per la Generazione Personalizzata di Immagini

DreamBench++: A Human-Aligned Benchmark for Personalized Image Generation

June 24, 2024

Autori: Yuang Peng, Yuxin Cui, Haomiao Tang, Zekun Qi, Runpei Dong, Jing Bai, Chunrui Han, Zheng Ge, Xiangyu Zhang, Shu-Tao Xia

cs.AI

Abstract

La generazione personalizzata di immagini offre grandi potenzialità nell'assistere gli esseri umani nel lavoro e nella vita quotidiana grazie alla sua impressionante capacità di creare contenuti personalizzati in modo creativo. Tuttavia, le valutazioni attuali sono o automatizzate ma non allineate con le percezioni umane, o richiedono valutazioni umane che sono dispendiose in termini di tempo e costose. In questo lavoro, presentiamo DreamBench++, un benchmark allineato con le percezioni umane e automatizzato grazie a modelli GPT multimodali avanzati. Nello specifico, progettiamo sistematicamente i prompt per consentire a GPT di essere sia allineato con le percezioni umane che auto-allineato, potenziato con il rinforzo del compito. Inoltre, costruiamo un dataset completo che comprende immagini e prompt diversificati. Valutando 7 modelli generativi moderni, dimostriamo che DreamBench++ produce valutazioni significativamente più allineate con le percezioni umane, contribuendo a stimolare la comunità con risultati innovativi.

English

Personalized image generation holds great promise in assisting humans in everyday work and life due to its impressive function in creatively generating personalized content. However, current evaluations either are automated but misalign with humans or require human evaluations that are time-consuming and expensive. In this work, we present DreamBench++, a human-aligned benchmark automated by advanced multimodal GPT models. Specifically, we systematically design the prompts to let GPT be both human-aligned and self-aligned, empowered with task reinforcement. Further, we construct a comprehensive dataset comprising diverse images and prompts. By benchmarking 7 modern generative models, we demonstrate that DreamBench++ results in significantly more human-aligned evaluation, helping boost the community with innovative findings.