DEsignBench: Esplorazione e Benchmarking di DALL-E 3 per l'Immaginazione del Design Visivo

DEsignBench: Exploring and Benchmarking DALL-E 3 for Imagining Visual Design

October 23, 2023

Autori: Kevin Lin, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Lijuan Wang

cs.AI

Abstract

Presentiamo DEsignBench, un benchmark di generazione testo-immagine (T2I) specificamente progettato per scenari di design visivo. Modelli T2I recenti come DALL-E 3 e altri hanno dimostrato capacità straordinarie nel generare immagini fotorealistiche che si allineano strettamente agli input testuali. Sebbene il fascino di creare immagini visivamente accattivanti sia innegabile, la nostra attenzione va oltre il semplice piacere estetico. Miriamo a esplorare il potenziale di utilizzo di questi potenti modelli in contesti di design autentici. In questa direzione, abbiamo sviluppato DEsignBench, che incorpora campioni di test progettati per valutare i modelli T2I sia sulla "capacità tecnica di design" che sullo "scenario applicativo di design". Ciascuna di queste due dimensioni è supportata da un insieme diversificato di categorie di design specifiche. Esploriamo DALL-E 3 insieme ad altri modelli T2I leader su DEsignBench, ottenendo una galleria visiva completa per confronti affiancati. Per il benchmarking di DEsignBench, eseguiamo valutazioni umane sulle immagini generate nella galleria di DEsignBench, rispetto ai criteri di allineamento testo-immagine, estetica visiva e creatività di design. La nostra valutazione considera anche altre capacità di design specializzate, tra cui rendering del testo, composizione del layout, armonia cromatica, design 3D e stile del mezzo. Oltre alle valutazioni umane, introduciamo il primo valutatore automatico per la generazione di immagini basato su GPT-4V. Questo valutatore fornisce punteggi che si allineano bene ai giudizi umani, pur essendo facilmente replicabile e conveniente in termini di costi. Una versione ad alta risoluzione è disponibile all'indirizzo https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=

English

We introduce DEsignBench, a text-to-image (T2I) generation benchmark tailored for visual design scenarios. Recent T2I models like DALL-E 3 and others, have demonstrated remarkable capabilities in generating photorealistic images that align closely with textual inputs. While the allure of creating visually captivating images is undeniable, our emphasis extends beyond mere aesthetic pleasure. We aim to investigate the potential of using these powerful models in authentic design contexts. In pursuit of this goal, we develop DEsignBench, which incorporates test samples designed to assess T2I models on both "design technical capability" and "design application scenario." Each of these two dimensions is supported by a diverse set of specific design categories. We explore DALL-E 3 together with other leading T2I models on DEsignBench, resulting in a comprehensive visual gallery for side-by-side comparisons. For DEsignBench benchmarking, we perform human evaluations on generated images in DEsignBench gallery, against the criteria of image-text alignment, visual aesthetic, and design creativity. Our evaluation also considers other specialized design capabilities, including text rendering, layout composition, color harmony, 3D design, and medium style. In addition to human evaluations, we introduce the first automatic image generation evaluator powered by GPT-4V. This evaluator provides ratings that align well with human judgments, while being easily replicable and cost-efficient. A high-resolution version is available at https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=