PRISM: 스타일리시한 디자인 개선을 위한 데이터 기반 디자인 지식 학습

초록

그래픽 디자인은 다양한 스타일적 방향성을 탐구하는 과정을 수반하는데, 이는 비전문가에게는 시간이 많이 소요될 수 있습니다. 본 논문은 자연어 지시를 기반으로 디자인의 스타일을 개선하는 이 문제를 다룹니다. VLM(비전-언어 모델)이 그래픽 디자인 분야에서 초기 성공을 보였지만, 사전 학습된 스타일 지식은 너무 일반적이어서 특정 도메인 데이터와 불일치하는 경우가 많습니다. 예를 들어, VLM은 미니멀리즘을 추상적인 디자인과 연관시키는 반면, 디자이너들은 형태와 색상 선택을 강조합니다. 우리의 핵심 통찰은 디자인 지식을 학습하고 스타일 개선을 안내하기 위해 디자인 데이터(디자이너의 원칙을 암묵적으로 포착한 실제 디자인 컬렉션)를 활용하는 것입니다. 우리는 디자인 지식 베이스를 구축하고 적용하는 세 단계를 통해 동작하는 PRISM(PRior-Informed Stylistic Modification)을 제안합니다: (1) 높은 변동성을 지닌 디자인을 클러스터링하여 스타일 내 다양성을 포착, (2) 각 클러스터를 실행 가능한 디자인 지식으로 요약, (3) 추론 과정에서 관련 지식을 검색하여 스타일 인식 개선을 가능하게 함. Crello 데이터셋에 대한 실험 결과, PRISM은 스타일 정렬 평가에서 기준 모델들 대비 1.49의 가장 높은 평균 순위(1에 가까울수록 좋음)를 달성했습니다. 사용자 연구를 통해서도 이러한 결과가 추가로 검증되었으며, PRISM이 디자이너들에게 지속적으로 선호되는 것으로 나타났습니다.

English

Graphic design often involves exploring different stylistic directions, which can be time-consuming for non-experts. We address this problem of stylistically improving designs based on natural language instructions. While VLMs have shown initial success in graphic design, their pretrained knowledge on styles is often too general and misaligned with specific domain data. For example, VLMs may associate minimalism with abstract designs, whereas designers emphasize shape and color choices. Our key insight is to leverage design data -- a collection of real-world designs that implicitly capture designer's principles -- to learn design knowledge and guide stylistic improvement. We propose PRISM (PRior-Informed Stylistic Modification) that constructs and applies a design knowledge base through three stages: (1) clustering high-variance designs to capture diversity within a style, (2) summarizing each cluster into actionable design knowledge, and (3) retrieving relevant knowledge during inference to enable style-aware improvement. Experiments on the Crello dataset show that PRISM achieves the highest average rank of 1.49 (closer to 1 is better) over baselines in style alignment. User studies further validate these results, showing that PRISM is consistently preferred by designers.

PRISM: 스타일리시한 디자인 개선을 위한 데이터 기반 디자인 지식 학습

PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement

초록

Support