DEsignBench: DALL-E 3を用いた視覚デザインの想像とベンチマークの探求

DEsignBench: Exploring and Benchmarking DALL-E 3 for Imagining Visual Design

October 23, 2023

著者: Kevin Lin, Zhengyuan Yang, Linjie Li, Jianfeng Wang, Lijuan Wang

cs.AI

要旨

我々は、視覚デザインシナリオに特化したテキストから画像（T2I）生成ベンチマークであるDEsignBenchを紹介する。DALL-E 3をはじめとする最近のT2Iモデルは、テキスト入力と密接に一致するフォトリアルな画像を生成する際に顕著な能力を示している。視覚的に魅力的な画像を作成する魅力は否定できないが、我々の焦点は単なる美的満足を超えている。我々は、これらの強力なモデルを実際のデザインコンテキストで使用する可能性を探ることを目指している。この目標を追求するために、我々はDEsignBenchを開発し、「デザイン技術能力」と「デザイン応用シナリオ」の両方を評価するために設計されたテストサンプルを組み込んだ。これら2つの次元は、多様な特定のデザインカテゴリによってサポートされている。我々は、DALL-E 3と他の主要なT2IモデルをDEsignBench上で探索し、並列比較のための包括的なビジュアルギャラリーを作成した。DEsignBenchのベンチマークにおいて、我々はDEsignBenchギャラリー内の生成画像に対して、画像とテキストの整合性、視覚的美学、デザインの創造性という基準に基づいて人間による評価を行った。また、テキストレンダリング、レイアウト構成、色彩調和、3Dデザイン、メディアスタイルといった他の専門的なデザイン能力も評価に含めた。人間による評価に加えて、我々はGPT-4Vを活用した初の自動画像生成評価ツールを導入した。この評価ツールは、人間の判断とよく一致する評価を提供し、再現性が高く、コスト効率が良い。高解像度版は以下で利用可能である： https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=

English

We introduce DEsignBench, a text-to-image (T2I) generation benchmark tailored for visual design scenarios. Recent T2I models like DALL-E 3 and others, have demonstrated remarkable capabilities in generating photorealistic images that align closely with textual inputs. While the allure of creating visually captivating images is undeniable, our emphasis extends beyond mere aesthetic pleasure. We aim to investigate the potential of using these powerful models in authentic design contexts. In pursuit of this goal, we develop DEsignBench, which incorporates test samples designed to assess T2I models on both "design technical capability" and "design application scenario." Each of these two dimensions is supported by a diverse set of specific design categories. We explore DALL-E 3 together with other leading T2I models on DEsignBench, resulting in a comprehensive visual gallery for side-by-side comparisons. For DEsignBench benchmarking, we perform human evaluations on generated images in DEsignBench gallery, against the criteria of image-text alignment, visual aesthetic, and design creativity. Our evaluation also considers other specialized design capabilities, including text rendering, layout composition, color harmony, 3D design, and medium style. In addition to human evaluations, we introduce the first automatic image generation evaluator powered by GPT-4V. This evaluator provides ratings that align well with human judgments, while being easily replicable and cost-efficient. A high-resolution version is available at https://github.com/design-bench/design-bench.github.io/raw/main/designbench.pdf?download=