MLLM como juez de IU: Evaluación de modelos de lenguaje multimodal para predecir la percepción humana de interfaces de usuario

MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

October 9, 2025

Autores: Reuben A. Luera, Ryan Rossi, Franck Dernoncourt, Samyadeep Basu, Sungchul Kim, Subhojyoti Mukherjee, Puneet Mathur, Ruiyi Zhang, Jihyung Kil, Nedim Lipka, Seunghyun Yoon, Jiuxiang Gu, Zichao Wang, Cindy Xiong Bearfield, Branislav Kveton

cs.AI

Resumen

En un flujo de diseño ideal, el diseño de la interfaz de usuario (UI) está entrelazado con la investigación de usuarios para validar decisiones, aunque los estudios a menudo se ven limitados por recursos durante las primeras etapas de exploración. Los avances recientes en modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) ofrecen una oportunidad prometedora para actuar como evaluadores tempranos, ayudando a los diseñadores a reducir opciones antes de realizar pruebas formales. A diferencia de trabajos previos que enfatizan el comportamiento del usuario en dominios específicos, como el comercio electrónico, con métricas como clics o conversiones, nos centramos en evaluaciones subjetivas de usuarios en interfaces variadas. Investigamos si los MLLMs pueden imitar las preferencias humanas al evaluar interfaces individuales y compararlas. Utilizando datos de una plataforma de crowdsourcing, comparamos GPT-4, Claude y Llama en 30 interfaces y examinamos su alineación con los juicios humanos en múltiples factores de UI. Nuestros resultados muestran que los MLLMs se aproximan a las preferencias humanas en algunas dimensiones, pero divergen en otras, destacando tanto su potencial como sus limitaciones para complementar la investigación temprana en experiencia de usuario (UX).

English

In an ideal design pipeline, user interface (UI) design is intertwined with user research to validate decisions, yet studies are often resource-constrained during early exploration. Recent advances in multimodal large language models (MLLMs) offer a promising opportunity to act as early evaluators, helping designers narrow options before formal testing. Unlike prior work that emphasizes user behavior in narrow domains such as e-commerce with metrics like clicks or conversions, we focus on subjective user evaluations across varied interfaces. We investigate whether MLLMs can mimic human preferences when evaluating individual UIs and comparing them. Using data from a crowdsourcing platform, we benchmark GPT-4o, Claude, and Llama across 30 interfaces and examine alignment with human judgments on multiple UI factors. Our results show that MLLMs approximate human preferences on some dimensions but diverge on others, underscoring both their potential and limitations in supplementing early UX research.