MLLM come Giudice di Interfacce Utente: Benchmarking di Modelli Linguistici Multimodali per la Previsione della Percezione Umana delle Interfacce Utente

MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

October 9, 2025

Autori: Reuben A. Luera, Ryan Rossi, Franck Dernoncourt, Samyadeep Basu, Sungchul Kim, Subhojyoti Mukherjee, Puneet Mathur, Ruiyi Zhang, Jihyung Kil, Nedim Lipka, Seunghyun Yoon, Jiuxiang Gu, Zichao Wang, Cindy Xiong Bearfield, Branislav Kveton

cs.AI

Abstract

In un processo di progettazione ideale, il design dell'interfaccia utente (UI) è strettamente connesso alla ricerca sugli utenti per validare le decisioni, tuttavia gli studi sono spesso limitati in termini di risorse durante le fasi iniziali di esplorazione. I recenti progressi nei modelli linguistici multimodali di grandi dimensioni (MLLMs) offrono un'opportunità promettente per agire come valutatori precoci, aiutando i designer a restringere le opzioni prima di test formali. A differenza di lavori precedenti che si concentrano sul comportamento degli utenti in ambiti ristretti come l'e-commerce con metriche come clic o conversioni, ci focalizziamo su valutazioni soggettive degli utenti su interfacce variegate. Indaghiamo se gli MLLMs possono imitare le preferenze umane quando valutano singole UI e le confrontano. Utilizzando dati provenienti da una piattaforma di crowdsourcing, confrontiamo GPT-4, Claude e Llama su 30 interfacce ed esaminiamo l'allineamento con i giudizi umani su diversi fattori dell'UI. I nostri risultati mostrano che gli MLLMs approssimano le preferenze umane su alcune dimensioni ma divergono su altre, evidenziando sia il loro potenziale che i limiti nel supportare la ricerca UX nelle fasi iniziali.

English

In an ideal design pipeline, user interface (UI) design is intertwined with user research to validate decisions, yet studies are often resource-constrained during early exploration. Recent advances in multimodal large language models (MLLMs) offer a promising opportunity to act as early evaluators, helping designers narrow options before formal testing. Unlike prior work that emphasizes user behavior in narrow domains such as e-commerce with metrics like clicks or conversions, we focus on subjective user evaluations across varied interfaces. We investigate whether MLLMs can mimic human preferences when evaluating individual UIs and comparing them. Using data from a crowdsourcing platform, we benchmark GPT-4o, Claude, and Llama across 30 interfaces and examine alignment with human judgments on multiple UI factors. Our results show that MLLMs approximate human preferences on some dimensions but diverge on others, underscoring both their potential and limitations in supplementing early UX research.