DEsignBench: 시각적 디자인 상상을 위한 DALL-E 3 탐구 및 벤치마킹

DEsignBench: Exploring and Benchmarking DALL-E 3 for Imagining Visual Design

October 23, 2023

저자: Kevin Lin, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Lijuan Wang

cs.AI

초록

본 논문에서는 시각 디자인 시나리오에 특화된 텍스트-이미지(T2I) 생성 벤치마크인 DEsignBench를 소개한다. 최근 DALL-E 3와 같은 T2I 모델들은 텍스트 입력과 밀접하게 일치하는 사실적인 이미지를 생성하는 놀라운 능력을 보여주었다. 시각적으로 매력적인 이미지를 창조하는 매력은 부인할 수 없지만, 우리의 강조점은 단순한 미적 즐거움을 넘어선다. 우리는 이러한 강력한 모델들을 실제 디자인 맥락에서 활용할 가능성을 탐구하고자 한다. 이를 위해, 우리는 "디자인 기술 능력"과 "디자인 응용 시나리오" 두 가지 측면에서 T2I 모델을 평가하기 위해 설계된 테스트 샘플을 포함한 DEsignBench를 개발하였다. 이 두 차원은 각각 다양한 특정 디자인 카테고리로 지원된다. 우리는 DALL-E 3와 다른 주요 T2I 모델들을 DEsignBench에서 탐구하며, 이를 통해 나란히 비교할 수 있는 포괄적인 시각 갤러리를 구축하였다. DEsignBench 벤치마킹을 위해, 우리는 DEsignBench 갤러리에서 생성된 이미지에 대해 이미지-텍스트 일치, 시각적 미학, 디자인 창의성 기준에 따라 인간 평가를 수행한다. 또한, 텍스트 렌더링, 레이아웃 구성, 색조 조화, 3D 디자인, 매체 스타일을 포함한 다른 전문 디자인 능력도 고려한다. 인간 평가 외에도, GPT-4V로 구동되는 최초의 자동 이미지 생성 평가기를 도입한다. 이 평가기는 인간의 판단과 잘 일치하는 평가를 제공하면서도 쉽게 복제 가능하고 비용 효율적이다. 고해상도 버전은 https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=에서 확인할 수 있다.

English

We introduce DEsignBench, a text-to-image (T2I) generation benchmark tailored for visual design scenarios. Recent T2I models like DALL-E 3 and others, have demonstrated remarkable capabilities in generating photorealistic images that align closely with textual inputs. While the allure of creating visually captivating images is undeniable, our emphasis extends beyond mere aesthetic pleasure. We aim to investigate the potential of using these powerful models in authentic design contexts. In pursuit of this goal, we develop DEsignBench, which incorporates test samples designed to assess T2I models on both "design technical capability" and "design application scenario." Each of these two dimensions is supported by a diverse set of specific design categories. We explore DALL-E 3 together with other leading T2I models on DEsignBench, resulting in a comprehensive visual gallery for side-by-side comparisons. For DEsignBench benchmarking, we perform human evaluations on generated images in DEsignBench gallery, against the criteria of image-text alignment, visual aesthetic, and design creativity. Our evaluation also considers other specialized design capabilities, including text rendering, layout composition, color harmony, 3D design, and medium style. In addition to human evaluations, we introduce the first automatic image generation evaluator powered by GPT-4V. This evaluator provides ratings that align well with human judgments, while being easily replicable and cost-efficient. A high-resolution version is available at https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=