UI Remix: Unterstützung des UI-Designs durch interaktives Abrufen und Remixen von Beispielen
UI Remix: Supporting UI Design Through Interactive Example Retrieval and Remixing
January 26, 2026
papers.authors: Junling Wang, Hongyi Lan, Xiaotian Su, Mustafa Doga Dogan, April Yi Wang
cs.AI
papers.abstract
Die Gestaltung von Benutzeroberflächen (User Interfaces, UIs) ist ein entscheidender Schritt bei der Produkteinführung, dem Aufbau von Portfolios oder der Personalisierung von Projekten. Dennoch haben Endnutzer ohne Design-Expertise oft Schwierigkeiten, ihre Absicht zu artikulieren und Designentscheidungen zu vertrauen. Bestehende, beispielbasierte Tools fördern entweder eine breite Exploration, was zu Überforderung und Design-Drift führen kann, oder erfordern die Anpassung eines einzelnen Beispiels, was das Risiko von Design-Fixierung birgt. Wir stellen UI Remix vor, ein interaktives System, das das Design mobiler Benutzeroberflächen durch einen beispielgesteuerten Design-Workflow unterstützt. Angetrieben durch ein multimodales, retrieval-erweitertes Generativmodell (Multimodal Retrieval-Augmented Generation, MMRAG) ermöglicht UI Remix die iterative Suche, Auswahl und Anpassung von Beispielen sowohl auf globaler (gesamte Oberfläche) als auch auf lokaler (Komponenten) Ebene. Um Vertrauen zu fördern, werden Quellen-Transparenzhinweise wie Bewertungen, Download-Zahlen und Entwicklerinformationen angezeigt. In einer empirischen Studie mit 24 Endnutzern verbesserte UI Remix signifikant die Fähigkeit der Teilnehmer, ihre Designziele zu erreichen, erleichterte effektive Iterationen und förderte die Erkundung alternativer Designs. Die Teilnehmer gaben ebenfalls an, dass die Quellen-Transparenzhinweise ihr Vertrauen in die Anpassung von Beispielen stärkten. Unsere Ergebnisse deuten auf neue Richtungen für KI-unterstützte, beispielgesteuerte Systeme hin, die Endnutzer befähigen, mit größerer Kontrolle, Vertrauen und Offenheit für Exploration zu gestalten.
English
Designing user interfaces (UIs) is a critical step when launching products, building portfolios, or personalizing projects, yet end users without design expertise often struggle to articulate their intent and to trust design choices. Existing example-based tools either promote broad exploration, which can cause overwhelm and design drift, or require adapting a single example, risking design fixation. We present UI Remix, an interactive system that supports mobile UI design through an example-driven design workflow. Powered by a multimodal retrieval-augmented generation (MMRAG) model, UI Remix enables iterative search, selection, and adaptation of examples at both the global (whole interface) and local (component) level. To foster trust, it presents source transparency cues such as ratings, download counts, and developer information. In an empirical study with 24 end users, UI Remix significantly improved participants' ability to achieve their design goals, facilitated effective iteration, and encouraged exploration of alternative designs. Participants also reported that source transparency cues enhanced their confidence in adapting examples. Our findings suggest new directions for AI-assisted, example-driven systems that empower end users to design with greater control, trust, and openness to exploration.