DreamBench++: Un Benchmark Alineado con Humanos para la Generación Personalizada de Imágenes

DreamBench++: A Human-Aligned Benchmark for Personalized Image Generation

June 24, 2024

Autores: Yuang Peng, Yuxin Cui, Haomiao Tang, Zekun Qi, Runpei Dong, Jing Bai, Chunrui Han, Zheng Ge, Xiangyu Zhang, Shu-Tao Xia

cs.AI

Resumen

La generación de imágenes personalizadas tiene un gran potencial para asistir a los humanos en el trabajo y la vida cotidiana debido a su impresionante capacidad para generar contenido personalizado de manera creativa. Sin embargo, las evaluaciones actuales son automáticas pero no se alinean con las percepciones humanas, o requieren evaluaciones humanas que son costosas y consumen mucho tiempo. En este trabajo, presentamos DreamBench++, un benchmark alineado con los humanos y automatizado mediante modelos GPT multimodales avanzados. Específicamente, diseñamos sistemáticamente los prompts para que GPT esté tanto alineado con los humanos como consigo mismo, potenciado con refuerzo de tareas. Además, construimos un conjunto de datos integral que incluye imágenes y prompts diversos. Al evaluar 7 modelos generativos modernos, demostramos que DreamBench++ produce evaluaciones significativamente más alineadas con los humanos, contribuyendo a impulsar a la comunidad con hallazgos innovadores.

English

Personalized image generation holds great promise in assisting humans in everyday work and life due to its impressive function in creatively generating personalized content. However, current evaluations either are automated but misalign with humans or require human evaluations that are time-consuming and expensive. In this work, we present DreamBench++, a human-aligned benchmark automated by advanced multimodal GPT models. Specifically, we systematically design the prompts to let GPT be both human-aligned and self-aligned, empowered with task reinforcement. Further, we construct a comprehensive dataset comprising diverse images and prompts. By benchmarking 7 modern generative models, we demonstrate that DreamBench++ results in significantly more human-aligned evaluation, helping boost the community with innovative findings.