UIリミックス：インタラクティブな事例検索とリミックスによるUIデザイン支援

UI Remix: Supporting UI Design Through Interactive Example Retrieval and Remixing

January 26, 2026

著者: Junling Wang, Hongyi Lan, Xiaotian Su, Mustafa Doga Dogan, April Yi Wang

cs.AI

要旨

ユーザーインターフェース（UI）の設計は、製品のローンチ、ポートフォリオの構築、プロジェクトの個人化において重要なステップである。しかし、デザイン専門知識を持たない一般ユーザーは、自身の意図を明確に表現することやデザイン選択への信頼を確立することに苦労することが多い。既存の事例ベースのツールは、広範な探索を促進するがために情報過多やデザインの方向性の逸脱を招くか、あるいは単一の事例を適応させることを要求するため、デザインの固定化リスクを伴う。本研究では、事例駆動型デザインワークフローを通じてモバイルUIデザインを支援するインタラクティブシステム「UI Remix」を提案する。マルチモーダル検索拡張生成（MMRAG）モデルを中核とし、UI Remixはグローバル（インターフェース全体）レベルとローカル（コンポーネント）レベルでの事例の反復的な検索、選択、適応を可能にする。信頼性を高めるため、評価、ダウンロード数、開発者情報などの出典透明性を示す手がかりを提示する。24名の一般ユーザーを対象とした実証研究において、UI Remixは参加者がデザイン目標を達成する能力を有意に向上させ、効果的な反復を促進し、代替デザインの探索を促した。また参加者は、出典透明性の手がかりが事例の適応に対する自信を高めたと報告した。我々の知見は、一般ユーザーがより高い制御感、信頼、探索への開放性を持ってデザインを行うことを可能にする、AI支援型の事例駆動システムの新たな方向性を示唆するものである。

English

Designing user interfaces (UIs) is a critical step when launching products, building portfolios, or personalizing projects, yet end users without design expertise often struggle to articulate their intent and to trust design choices. Existing example-based tools either promote broad exploration, which can cause overwhelm and design drift, or require adapting a single example, risking design fixation. We present UI Remix, an interactive system that supports mobile UI design through an example-driven design workflow. Powered by a multimodal retrieval-augmented generation (MMRAG) model, UI Remix enables iterative search, selection, and adaptation of examples at both the global (whole interface) and local (component) level. To foster trust, it presents source transparency cues such as ratings, download counts, and developer information. In an empirical study with 24 end users, UI Remix significantly improved participants' ability to achieve their design goals, facilitated effective iteration, and encouraged exploration of alternative designs. Participants also reported that source transparency cues enhanced their confidence in adapting examples. Our findings suggest new directions for AI-assisted, example-driven systems that empower end users to design with greater control, trust, and openness to exploration.