MLLM como Juiz de Interface: Avaliando Modelos de Linguagem Multimodais para Prever a Percepção Humana de Interfaces de Usuário

MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

October 9, 2025

Autores: Reuben A. Luera, Ryan Rossi, Franck Dernoncourt, Samyadeep Basu, Sungchul Kim, Subhojyoti Mukherjee, Puneet Mathur, Ruiyi Zhang, Jihyung Kil, Nedim Lipka, Seunghyun Yoon, Jiuxiang Gu, Zichao Wang, Cindy Xiong Bearfield, Branislav Kveton

cs.AI

Resumo

Em um pipeline de design ideal, o design de interface do usuário (UI) está interligado à pesquisa com usuários para validar decisões, mas os estudos geralmente são limitados em recursos durante a exploração inicial. Avanços recentes em modelos de linguagem multimodal (MLLMs) oferecem uma oportunidade promissora para atuarem como avaliadores preliminares, ajudando designers a reduzir opções antes de testes formais. Diferente de trabalhos anteriores que enfatizam o comportamento do usuário em domínios restritos, como e-commerce, com métricas como cliques ou conversões, focamos em avaliações subjetivas do usuário em diversas interfaces. Investigamos se MLLMs podem imitar as preferências humanas ao avaliar UIs individuais e compará-las. Utilizando dados de uma plataforma de crowdsourcing, avaliamos GPT-4, Claude e Llama em 30 interfaces e examinamos a alinhamento com julgamentos humanos em múltiplos fatores de UI. Nossos resultados mostram que MLLMs aproximam-se das preferências humanas em algumas dimensões, mas divergem em outras, destacando tanto seu potencial quanto suas limitações ao complementar pesquisas iniciais de UX.

English

In an ideal design pipeline, user interface (UI) design is intertwined with user research to validate decisions, yet studies are often resource-constrained during early exploration. Recent advances in multimodal large language models (MLLMs) offer a promising opportunity to act as early evaluators, helping designers narrow options before formal testing. Unlike prior work that emphasizes user behavior in narrow domains such as e-commerce with metrics like clicks or conversions, we focus on subjective user evaluations across varied interfaces. We investigate whether MLLMs can mimic human preferences when evaluating individual UIs and comparing them. Using data from a crowdsourcing platform, we benchmark GPT-4o, Claude, and Llama across 30 interfaces and examine alignment with human judgments on multiple UI factors. Our results show that MLLMs approximate human preferences on some dimensions but diverge on others, underscoring both their potential and limitations in supplementing early UX research.