DEsignBench: Exploración y Evaluación de DALL-E 3 para la Creación de Diseños Visuales

DEsignBench: Exploring and Benchmarking DALL-E 3 for Imagining Visual Design

October 23, 2023

Autores: Kevin Lin, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Lijuan Wang

cs.AI

Resumen

Presentamos DEsignBench, un benchmark de generación de texto a imagen (T2I) diseñado específicamente para escenarios de diseño visual. Modelos recientes de T2I, como DALL-E 3 y otros, han demostrado capacidades notables para generar imágenes fotorrealistas que se alinean estrechamente con las entradas textuales. Si bien el atractivo de crear imágenes visualmente cautivadoras es innegable, nuestro énfasis va más allá del mero placer estético. Nuestro objetivo es investigar el potencial de utilizar estos modelos poderosos en contextos de diseño auténticos. En pos de este objetivo, desarrollamos DEsignBench, que incorpora muestras de prueba diseñadas para evaluar modelos T2I tanto en la "capacidad técnica de diseño" como en el "escenario de aplicación de diseño". Cada una de estas dos dimensiones está respaldada por un conjunto diverso de categorías de diseño específicas. Exploramos DALL-E 3 junto con otros modelos líderes de T2I en DEsignBench, lo que resulta en una galería visual exhaustiva para comparaciones lado a lado. Para la evaluación de DEsignBench, realizamos evaluaciones humanas de las imágenes generadas en la galería de DEsignBench, en función de los criterios de alineación texto-imagen, estética visual y creatividad de diseño. Nuestra evaluación también considera otras capacidades de diseño especializadas, como la representación de texto, la composición de diseño, la armonía de colores, el diseño 3D y el estilo de medio. Además de las evaluaciones humanas, introducimos el primer evaluador automático de generación de imágenes impulsado por GPT-4V. Este evaluador proporciona calificaciones que se alinean bien con los juicios humanos, al tiempo que es fácilmente replicable y rentable. Una versión de alta resolución está disponible en https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=.

English

We introduce DEsignBench, a text-to-image (T2I) generation benchmark tailored for visual design scenarios. Recent T2I models like DALL-E 3 and others, have demonstrated remarkable capabilities in generating photorealistic images that align closely with textual inputs. While the allure of creating visually captivating images is undeniable, our emphasis extends beyond mere aesthetic pleasure. We aim to investigate the potential of using these powerful models in authentic design contexts. In pursuit of this goal, we develop DEsignBench, which incorporates test samples designed to assess T2I models on both "design technical capability" and "design application scenario." Each of these two dimensions is supported by a diverse set of specific design categories. We explore DALL-E 3 together with other leading T2I models on DEsignBench, resulting in a comprehensive visual gallery for side-by-side comparisons. For DEsignBench benchmarking, we perform human evaluations on generated images in DEsignBench gallery, against the criteria of image-text alignment, visual aesthetic, and design creativity. Our evaluation also considers other specialized design capabilities, including text rendering, layout composition, color harmony, 3D design, and medium style. In addition to human evaluations, we introduce the first automatic image generation evaluator powered by GPT-4V. This evaluator provides ratings that align well with human judgments, while being easily replicable and cost-efficient. A high-resolution version is available at https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=