UI 리믹스: 대화형 예시 검색 및 리믹스를 통한 UI 디자인 지원

UI Remix: Supporting UI Design Through Interactive Example Retrieval and Remixing

January 26, 2026

저자: Junling Wang, Hongyi Lan, Xiaotian Su, Mustafa Doga Dogan, April Yi Wang

cs.AI

초록

사용자 인터페이스(UI) 설계는 제품 출시, 포트폴리오 구축 또는 프로젝트 개인화 과정에서 핵심적인 단계이지만, 설계 전문 지식이 없는 최종 사용자들은 자신의 의도를 명확히 표현하고 설계 선택을 신뢰하는 데 어려움을 겪습니다. 기존의 예시 기반 도구들은 광범위한 탐색을 유도하여 과부하와 설계 편향을 초과하거나, 단일 예시에 의존하여 설계 고정관념의 위험을 안고 있습니다. 본 논문에서는 예시 기반 설계 워크플로우를 통해 모바일 UI 설계를 지원하는 상호작용형 시스템인 UI Remix를 소개합니다. 다중 모드 검색-증강 생성(MMRAG) 모델을 기반으로 하는 UI Remix는 전역(전체 인터페이스) 및 지역(구성 요소) 수준에서 예시의 반복적 검색, 선택 및 적용을 가능하게 합니다. 신뢰 형성을 위해 평점, 다운로드 수, 개발자 정보 등의 출처 투명성 신호를 제공합니다. 24명의 최종 사용자를 대상으로 한 실증 연구에서 UI Remix는 참가자들의 설계 목표 달성 능력을 크게 향상시키고, 효과적인 반복 작업을 용이하게 하며, 대안 설계 탐색을 촉진한 것으로 나타났습니다. 참가자들은 출처 투명성 신호가 예시 적용에 대한 자신감을 높인다고 보고했습니다. 본 연구 결과는 최종 사용자가 더 높은 통제력, 신뢰, 탐색 개방성을 가지고 설계할 수 있도록 지원하는 AI 기반 예시 주도 시스템의 새로운 방향성을 제시합니다.

English

Designing user interfaces (UIs) is a critical step when launching products, building portfolios, or personalizing projects, yet end users without design expertise often struggle to articulate their intent and to trust design choices. Existing example-based tools either promote broad exploration, which can cause overwhelm and design drift, or require adapting a single example, risking design fixation. We present UI Remix, an interactive system that supports mobile UI design through an example-driven design workflow. Powered by a multimodal retrieval-augmented generation (MMRAG) model, UI Remix enables iterative search, selection, and adaptation of examples at both the global (whole interface) and local (component) level. To foster trust, it presents source transparency cues such as ratings, download counts, and developer information. In an empirical study with 24 end users, UI Remix significantly improved participants' ability to achieve their design goals, facilitated effective iteration, and encouraged exploration of alternative designs. Participants also reported that source transparency cues enhanced their confidence in adapting examples. Our findings suggest new directions for AI-assisted, example-driven systems that empower end users to design with greater control, trust, and openness to exploration.