MLLM как судья интерфейсов: Бенчмаркинг мультимодальных языковых моделей для прогнозирования человеческого восприятия пользовательских интерфейсов

MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

October 9, 2025

Авторы: Reuben A. Luera, Ryan Rossi, Franck Dernoncourt, Samyadeep Basu, Sungchul Kim, Subhojyoti Mukherjee, Puneet Mathur, Ruiyi Zhang, Jihyung Kil, Nedim Lipka, Seunghyun Yoon, Jiuxiang Gu, Zichao Wang, Cindy Xiong Bearfield, Branislav Kveton

cs.AI

Аннотация

В идеальном процессе проектирования разработка пользовательского интерфейса (UI) тесно связана с исследованиями пользователей для проверки решений, однако на ранних этапах исследования часто ограничены ресурсами. Последние достижения в области мультимодальных больших языковых моделей (MLLMs) открывают перспективную возможность использовать их в качестве ранних оценщиков, помогая дизайнерам сузить варианты до проведения формального тестирования. В отличие от предыдущих работ, которые акцентируют внимание на поведении пользователей в узких областях, таких как электронная коммерция, с использованием метрик вроде кликов или конверсий, мы сосредоточиваемся на субъективных оценках пользователей для различных интерфейсов. Мы исследуем, могут ли MLLMs имитировать человеческие предпочтения при оценке отдельных UI и их сравнении. Используя данные с краудсорсинговой платформы, мы сравниваем GPT-4, Claude и Llama на 30 интерфейсах и анализируем их соответствие человеческим суждениям по нескольким факторам UI. Наши результаты показывают, что MLLMs приближаются к человеческим предпочтениям по некоторым параметрам, но расходятся по другим, что подчеркивает как их потенциал, так и ограничения в дополнении ранних исследований пользовательского опыта (UX).

English

In an ideal design pipeline, user interface (UI) design is intertwined with user research to validate decisions, yet studies are often resource-constrained during early exploration. Recent advances in multimodal large language models (MLLMs) offer a promising opportunity to act as early evaluators, helping designers narrow options before formal testing. Unlike prior work that emphasizes user behavior in narrow domains such as e-commerce with metrics like clicks or conversions, we focus on subjective user evaluations across varied interfaces. We investigate whether MLLMs can mimic human preferences when evaluating individual UIs and comparing them. Using data from a crowdsourcing platform, we benchmark GPT-4o, Claude, and Llama across 30 interfaces and examine alignment with human judgments on multiple UI factors. Our results show that MLLMs approximate human preferences on some dimensions but diverge on others, underscoring both their potential and limitations in supplementing early UX research.