MLLM als UI-Bewerter: Benchmarking multimodaler LLMs zur Vorhersage der menschlichen Wahrnehmung von Benutzeroberflächen

MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

October 9, 2025

papers.authors: Reuben A. Luera, Ryan Rossi, Franck Dernoncourt, Samyadeep Basu, Sungchul Kim, Subhojyoti Mukherjee, Puneet Mathur, Ruiyi Zhang, Jihyung Kil, Nedim Lipka, Seunghyun Yoon, Jiuxiang Gu, Zichao Wang, Cindy Xiong Bearfield, Branislav Kveton

cs.AI

papers.abstract

In einem idealen Designprozess ist das User Interface (UI)-Design eng mit der Nutzerforschung verflochten, um Entscheidungen zu validieren, doch sind Studien in der frühen Explorationsphase oft ressourcenbeschränkt. Jüngste Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) bieten eine vielversprechende Möglichkeit, als frühe Evaluatoren zu fungieren und Designer dabei zu unterstützen, Optionen vor der formalen Testphase einzugrenzen. Im Gegensatz zu früheren Arbeiten, die das Nutzerverhalten in engen Domänen wie dem E-Commerce mit Metriken wie Klicks oder Konversionen betonen, konzentrieren wir uns auf subjektive Nutzerbewertungen über verschiedene Interfaces hinweg. Wir untersuchen, ob MLLMs menschliche Präferenzen nachahmen können, wenn sie einzelne UIs bewerten und vergleichen. Unter Verwendung von Daten einer Crowdsourcing-Plattform benchmarken wir GPT-4o, Claude und Llama über 30 Interfaces hinweg und untersuchen die Übereinstimmung mit menschlichen Bewertungen in Bezug auf mehrere UI-Faktoren. Unsere Ergebnisse zeigen, dass MLLMs menschliche Präferenzen in einigen Dimensionen annähern, in anderen jedoch abweichen, was sowohl ihr Potenzial als auch ihre Grenzen bei der Ergänzung früher UX-Forschung unterstreicht.

English

In an ideal design pipeline, user interface (UI) design is intertwined with user research to validate decisions, yet studies are often resource-constrained during early exploration. Recent advances in multimodal large language models (MLLMs) offer a promising opportunity to act as early evaluators, helping designers narrow options before formal testing. Unlike prior work that emphasizes user behavior in narrow domains such as e-commerce with metrics like clicks or conversions, we focus on subjective user evaluations across varied interfaces. We investigate whether MLLMs can mimic human preferences when evaluating individual UIs and comparing them. Using data from a crowdsourcing platform, we benchmark GPT-4o, Claude, and Llama across 30 interfaces and examine alignment with human judgments on multiple UI factors. Our results show that MLLMs approximate human preferences on some dimensions but diverge on others, underscoring both their potential and limitations in supplementing early UX research.