DEsignBench: Verkenning en Benchmarking van DALL-E 3 voor het Visualiseren van Visueel Ontwerp

DEsignBench: Exploring and Benchmarking DALL-E 3 for Imagining Visual Design

October 23, 2023

Auteurs: Kevin Lin, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Lijuan Wang

cs.AI

Samenvatting

We introduceren DEsignBench, een tekst-naar-beeld (T2I) generatiebenchmark die is afgestemd op visuele ontwerp scenario's. Recente T2I-modellen zoals DALL-E 3 en anderen hebben opmerkelijke capaciteiten getoond in het genereren van fotorealistische afbeeldingen die nauw aansluiten bij tekstuele invoer. Hoewel de aantrekkingskracht van het creëren van visueel boeiende afbeeldingen onmiskenbaar is, gaat onze nadruk verder dan alleen esthetisch plezier. Wij streven ernaar om het potentieel van het gebruik van deze krachtige modellen in authentieke ontwerpcontexten te onderzoeken. Om dit doel te bereiken, ontwikkelen we DEsignBench, dat testmonsters bevat die zijn ontworpen om T2I-modellen te beoordelen op zowel "ontwerp technische capaciteit" als "ontwerp toepassingsscenario." Elk van deze twee dimensies wordt ondersteund door een diverse set van specifieke ontwerpcategorieën. We onderzoeken DALL-E 3 samen met andere toonaangevende T2I-modellen op DEsignBench, wat resulteert in een uitgebreide visuele galerij voor zij-aan-zij vergelijkingen. Voor de DEsignBench-benchmarking voeren we menselijke evaluaties uit op gegenereerde afbeeldingen in de DEsignBench-galerij, tegen de criteria van beeld-tekst-alignment, visuele esthetiek en ontwerpcreativiteit. Onze evaluatie houdt ook rekening met andere gespecialiseerde ontwerpcapaciteiten, waaronder tekstweergave, lay-outcompositie, kleurharmonie, 3D-ontwerp en mediumstijl. Naast menselijke evaluaties introduceren we de eerste automatische beeldgeneratie-evaluator aangedreven door GPT-4V. Deze evaluator biedt beoordelingen die goed aansluiten bij menselijke oordelen, terwijl het gemakkelijk reproduceerbaar en kostenefficiënt is. Een hoge-resolutie versie is beschikbaar op https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=

English

We introduce DEsignBench, a text-to-image (T2I) generation benchmark tailored for visual design scenarios. Recent T2I models like DALL-E 3 and others, have demonstrated remarkable capabilities in generating photorealistic images that align closely with textual inputs. While the allure of creating visually captivating images is undeniable, our emphasis extends beyond mere aesthetic pleasure. We aim to investigate the potential of using these powerful models in authentic design contexts. In pursuit of this goal, we develop DEsignBench, which incorporates test samples designed to assess T2I models on both "design technical capability" and "design application scenario." Each of these two dimensions is supported by a diverse set of specific design categories. We explore DALL-E 3 together with other leading T2I models on DEsignBench, resulting in a comprehensive visual gallery for side-by-side comparisons. For DEsignBench benchmarking, we perform human evaluations on generated images in DEsignBench gallery, against the criteria of image-text alignment, visual aesthetic, and design creativity. Our evaluation also considers other specialized design capabilities, including text rendering, layout composition, color harmony, 3D design, and medium style. In addition to human evaluations, we introduce the first automatic image generation evaluator powered by GPT-4V. This evaluator provides ratings that align well with human judgments, while being easily replicable and cost-efficient. A high-resolution version is available at https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=