UI Remix: Ondersteuning van UI-ontwerp via interactieve voorbeeldretrieval en remixing

UI Remix: Supporting UI Design Through Interactive Example Retrieval and Remixing

January 26, 2026

Auteurs: Junling Wang, Hongyi Lan, Xiaotian Su, Mustafa Doga Dogan, April Yi Wang

cs.AI

Samenvatting

Het ontwerpen van gebruikersinterfaces (UI's) is een cruciale stap bij het lanceren van producten, het opbouwen van portfolio's of het personaliseren van projecten. Toch hebben eindgebruikers zonder ontwerpexpertise vaak moeite om hun intentie onder woorden te brengen en vertrouwen te hebben in ontwerpkeuzes. Bestaande op voorbeelden gebaseerde tools stimuleren ofwel brede verkenning, wat kan leiden tot overweldiging en ontwerpafwijking, of vereisen het aanpassen van een enkel voorbeeld, met het risico op ontwerpfixatie. Wij presenteren UI Remix, een interactief systeem dat mobiel UI-ontwerp ondersteunt via een op voorbeelden gebaseerde ontwerpwerkstroom. Aangedreven door een multimodaal retrieval-augmented generation (MMRAG)-model, stelt UI Remix iteratieve zoek-, selectie- en aanpassingsmogelijkheden van voorbeelden mogelijk, zowel op globaal (gehele interface) als lokaal (component) niveau. Om vertrouwen te bevorderen, toont het bron transparantie-aanwijzingen zoals beoordelingen, downloadaantallen en ontwikkelaarsinformatie. In een empirische studie met 24 eindgebruikers verbeterde UI Remix significant het vermogen van deelnemers om hun ontwerpdoelen te bereiken, vergemakkelijkte het effectieve iteratie en stimuleerde het de verkenning van alternatieve ontwerpen. Deelnemers gaven ook aan dat bron transparantie-aanwijzingen hun vertrouwen in het aanpassen van voorbeelden vergrootten. Onze bevindingen suggereren nieuwe richtingen voor door AI ondersteunde, op voorbeelden gebaseerde systemen die eindgebruikers in staat stellen om met meer controle, vertrouwen en openheid voor verkenning te ontwerpen.

English

Designing user interfaces (UIs) is a critical step when launching products, building portfolios, or personalizing projects, yet end users without design expertise often struggle to articulate their intent and to trust design choices. Existing example-based tools either promote broad exploration, which can cause overwhelm and design drift, or require adapting a single example, risking design fixation. We present UI Remix, an interactive system that supports mobile UI design through an example-driven design workflow. Powered by a multimodal retrieval-augmented generation (MMRAG) model, UI Remix enables iterative search, selection, and adaptation of examples at both the global (whole interface) and local (component) level. To foster trust, it presents source transparency cues such as ratings, download counts, and developer information. In an empirical study with 24 end users, UI Remix significantly improved participants' ability to achieve their design goals, facilitated effective iteration, and encouraged exploration of alternative designs. Participants also reported that source transparency cues enhanced their confidence in adapting examples. Our findings suggest new directions for AI-assisted, example-driven systems that empower end users to design with greater control, trust, and openness to exploration.