UI Remix: Поддержка проектирования пользовательских интерфейсов с помощью интерактивного поиска и ремикширования примеров

UI Remix: Supporting UI Design Through Interactive Example Retrieval and Remixing

January 26, 2026

Авторы: Junling Wang, Hongyi Lan, Xiaotian Su, Mustafa Doga Dogan, April Yi Wang

cs.AI

Аннотация

Проектирование пользовательских интерфейсов (UI) является критически важным этапом при запуске продуктов, создании портфолио или персонализации проектов, однако конечные пользователи без опыта в дизайне часто испытывают трудности с формулированием своих намерений и доверием к дизайнерским решениям. Существующие инструменты, основанные на примерах, либо способствуют широкому исследованию, что может привести к перегрузке и отклонению от первоначального замысла, либо требуют адаптации единичного примера, что грозит фиксацией на одном дизайне. Мы представляем UI Remix — интерактивную систему, поддерживающую дизайн мобильных интерфейсов через рабочий процесс, управляемый примерами. Благодаря многомодальной модели с расширением генерации за счет извлечения данных (MMRAG), UI Remix позволяет осуществлять итеративный поиск, выбор и адаптацию примеров как на глобальном (целый интерфейс), так и на локальном (компонент) уровне. Для укрепления доверия система предоставляет прозрачные указания на источники, такие как рейтинги, количество загрузок и информация о разработчике. В эмпирическом исследовании с участием 24 конечных пользователей UI Remix значительно улучшил способность участников достигать своих дизайнерских целей, способствовал эффективной итерации и поощрял исследование альтернативных решений. Участники также отметили, что прозрачность источников повысила их уверенность в адаптации примеров. Наши результаты указывают на новые направления для систем с ИИ-поддержкой, основанных на примерах, которые позволяют конечным пользователям проектировать с большим контролем, доверием и открытостью к исследованию.

English

Designing user interfaces (UIs) is a critical step when launching products, building portfolios, or personalizing projects, yet end users without design expertise often struggle to articulate their intent and to trust design choices. Existing example-based tools either promote broad exploration, which can cause overwhelm and design drift, or require adapting a single example, risking design fixation. We present UI Remix, an interactive system that supports mobile UI design through an example-driven design workflow. Powered by a multimodal retrieval-augmented generation (MMRAG) model, UI Remix enables iterative search, selection, and adaptation of examples at both the global (whole interface) and local (component) level. To foster trust, it presents source transparency cues such as ratings, download counts, and developer information. In an empirical study with 24 end users, UI Remix significantly improved participants' ability to achieve their design goals, facilitated effective iteration, and encouraged exploration of alternative designs. Participants also reported that source transparency cues enhanced their confidence in adapting examples. Our findings suggest new directions for AI-assisted, example-driven systems that empower end users to design with greater control, trust, and openness to exploration.