MLLM en tant qu'évaluateur d'interface utilisateur : Évaluation des modèles de langage multimodaux pour la prédiction de la perception humaine des interfaces utilisateur

MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

October 9, 2025

papers.authors: Reuben A. Luera, Ryan Rossi, Franck Dernoncourt, Samyadeep Basu, Sungchul Kim, Subhojyoti Mukherjee, Puneet Mathur, Ruiyi Zhang, Jihyung Kil, Nedim Lipka, Seunghyun Yoon, Jiuxiang Gu, Zichao Wang, Cindy Xiong Bearfield, Branislav Kveton

cs.AI

papers.abstract

Dans un pipeline de conception idéal, la conception de l'interface utilisateur (UI) est étroitement liée à la recherche utilisateur pour valider les décisions, bien que les études soient souvent limitées en ressources lors des phases d'exploration initiale. Les récents progrès des modèles de langage multimodaux (MLLMs) offrent une opportunité prometteuse pour agir en tant qu'évaluateurs précoces, aidant les designers à réduire les options avant des tests formels. Contrairement aux travaux antérieurs qui mettent l'accent sur le comportement des utilisateurs dans des domaines restreints tels que le commerce électronique avec des métriques comme les clics ou les conversions, nous nous concentrons sur les évaluations subjectives des utilisateurs à travers diverses interfaces. Nous étudions si les MLLMs peuvent imiter les préférences humaines lors de l'évaluation d'interfaces individuelles et de leur comparaison. En utilisant des données provenant d'une plateforme de crowdsourcing, nous évaluons GPT-4o, Claude et Llama sur 30 interfaces et examinons leur alignement avec les jugements humains sur plusieurs facteurs d'UI. Nos résultats montrent que les MLLMs approchent les préférences humaines sur certaines dimensions mais divergent sur d'autres, soulignant à la fois leur potentiel et leurs limites dans le complément des recherches UX précoces.

English

In an ideal design pipeline, user interface (UI) design is intertwined with user research to validate decisions, yet studies are often resource-constrained during early exploration. Recent advances in multimodal large language models (MLLMs) offer a promising opportunity to act as early evaluators, helping designers narrow options before formal testing. Unlike prior work that emphasizes user behavior in narrow domains such as e-commerce with metrics like clicks or conversions, we focus on subjective user evaluations across varied interfaces. We investigate whether MLLMs can mimic human preferences when evaluating individual UIs and comparing them. Using data from a crowdsourcing platform, we benchmark GPT-4o, Claude, and Llama across 30 interfaces and examine alignment with human judgments on multiple UI factors. Our results show that MLLMs approximate human preferences on some dimensions but diverge on others, underscoring both their potential and limitations in supplementing early UX research.