MLLM als UI-beoordelaar: Benchmarken van multimodale LLM's voor het voorspellen van menselijke perceptie van gebruikersinterfaces

Samenvatting

In een ideale ontwerppijplijn is het ontwerp van de gebruikersinterface (UI) verweven met gebruikersonderzoek om beslissingen te valideren, maar studies zijn vaak beperkt in middelen tijdens de vroege verkenning. Recente vooruitgang in multimodale grote taalmodellen (MLLMs) biedt een veelbelovende mogelijkheid om als vroege evaluatoren te fungeren, waardoor ontwerpers opties kunnen verfijnen voordat formele tests plaatsvinden. In tegenstelling tot eerder werk dat de nadruk legt op gebruikersgedrag in specifieke domeinen zoals e-commerce met metrieken zoals klikken of conversies, richten wij ons op subjectieve gebruikersevaluaties over diverse interfaces. Wij onderzoeken of MLLMs menselijke voorkeuren kunnen nabootsen bij het evalueren van individuele UI's en het vergelijken ervan. Met behulp van gegevens van een crowdsourcingplatform benchmarken we GPT-4o, Claude en Llama over 30 interfaces en onderzoeken we de overeenstemming met menselijke oordelen over meerdere UI-factoren. Onze resultaten tonen aan dat MLLMs menselijke voorkeuren op sommige dimensies benaderen, maar op andere dimensies afwijken, wat zowel hun potentieel als hun beperkingen onderstreept bij het aanvullen van vroeg UX-onderzoek.

English

In an ideal design pipeline, user interface (UI) design is intertwined with user research to validate decisions, yet studies are often resource-constrained during early exploration. Recent advances in multimodal large language models (MLLMs) offer a promising opportunity to act as early evaluators, helping designers narrow options before formal testing. Unlike prior work that emphasizes user behavior in narrow domains such as e-commerce with metrics like clicks or conversions, we focus on subjective user evaluations across varied interfaces. We investigate whether MLLMs can mimic human preferences when evaluating individual UIs and comparing them. Using data from a crowdsourcing platform, we benchmark GPT-4o, Claude, and Llama across 30 interfaces and examine alignment with human judgments on multiple UI factors. Our results show that MLLMs approximate human preferences on some dimensions but diverge on others, underscoring both their potential and limitations in supplementing early UX research.

MLLM als UI-beoordelaar: Benchmarken van multimodale LLM's voor het voorspellen van menselijke perceptie van gebruikersinterfaces

MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

Samenvatting

Support