PRISM: スタイリッシュなデザイン改善のためのデータからのデザイン知識学習

PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement

January 16, 2026

著者: Huaxiaoyue Wang, Sunav Choudhary, Franck Dernoncourt, Yu Shen, Stefano Petrangeli

cs.AI

要旨

グラフィックデザインでは、様々な様式的な方向性を探ることが多いが、これは非専門家にとって時間を要する作業である。本研究では、自然言語による指示に基づいてデザインを様式的に改善するという課題に取り組む。視覚言語モデル（VLM）はグラフィックデザインにおいて一定の成果を示しているが、事前学習で獲得されたスタイルに関する知識は一般的すぎる場合が多く、特定領域のデータと整合しない。例えば、VLMはミニマリズムを抽象的なデザインと結びつけがちであるが、デザイナーは形状や色彩の選択を重視する。我々の重要な知見は、デザインデータ（デザイナーの原則を暗黙的に内包した実世界のデザイン群）を活用し、デザイン知識を学習して様式的改善を導くことである。我々はPRISM（PRior-Informed Stylistic Modification）を提案する。これは、以下の3段階を通じてデザイン知識ベースを構築・適用する手法である：(1) 高分散のデザインをクラスタリングしてスタイル内の多様性を捕捉する、(2) 各クラスターを実践的なデザイン知識に要約する、(3) 推論時に関連知識を検索し、スタイルを考慮した改善を可能にする。Crelloデータセットを用いた実験では、PRISMはスタイル整合性においてベースライン手法を上回り、平均順位1.49（1に近いほど良好）を達成した。ユーザスタディでもこれらの結果が裏付けられ、PRISMがデザイナーから一貫して支持されることが示された。

English

Graphic design often involves exploring different stylistic directions, which can be time-consuming for non-experts. We address this problem of stylistically improving designs based on natural language instructions. While VLMs have shown initial success in graphic design, their pretrained knowledge on styles is often too general and misaligned with specific domain data. For example, VLMs may associate minimalism with abstract designs, whereas designers emphasize shape and color choices. Our key insight is to leverage design data -- a collection of real-world designs that implicitly capture designer's principles -- to learn design knowledge and guide stylistic improvement. We propose PRISM (PRior-Informed Stylistic Modification) that constructs and applies a design knowledge base through three stages: (1) clustering high-variance designs to capture diversity within a style, (2) summarizing each cluster into actionable design knowledge, and (3) retrieving relevant knowledge during inference to enable style-aware improvement. Experiments on the Crello dataset show that PRISM achieves the highest average rank of 1.49 (closer to 1 is better) over baselines in style alignment. User studies further validate these results, showing that PRISM is consistently preferred by designers.