MLLMをUI評価者として：人間のユーザーインターフェース知覚を予測するためのマルチモーダルLLMのベンチマーキング

要旨

理想的なデザインパイプラインにおいては、ユーザーインターフェース（UI）デザインは、意思決定を検証するためのユーザーリサーチと密接に結びついている。しかし、初期の探索段階では、リソースが制約されることが多い。近年のマルチモーダル大規模言語モデル（MLLMs）の進展は、正式なテストの前にデザイナーが選択肢を絞り込むための早期評価者としての役割を果たす有望な機会を提供している。従来の研究が、クリック数やコンバージョン率などの指標を用いて、eコマースのような狭い領域におけるユーザー行動に焦点を当てていたのに対し、本研究では、多様なインターフェースにわたる主観的なユーザー評価に着目する。MLLMsが、個々のUIを評価し、それらを比較する際に、人間の選好を模倣できるかどうかを調査する。クラウドソーシングプラットフォームからのデータを用いて、GPT-4o、Claude、Llamaを30のインターフェースでベンチマークし、複数のUI要因に関する人間の判断との整合性を検証する。結果として、MLLMsは一部の次元では人間の選好に近似するが、他の次元では乖離が見られ、UX研究の初期段階を補完する上での可能性と限界が浮き彫りになった。

English

In an ideal design pipeline, user interface (UI) design is intertwined with user research to validate decisions, yet studies are often resource-constrained during early exploration. Recent advances in multimodal large language models (MLLMs) offer a promising opportunity to act as early evaluators, helping designers narrow options before formal testing. Unlike prior work that emphasizes user behavior in narrow domains such as e-commerce with metrics like clicks or conversions, we focus on subjective user evaluations across varied interfaces. We investigate whether MLLMs can mimic human preferences when evaluating individual UIs and comparing them. Using data from a crowdsourcing platform, we benchmark GPT-4o, Claude, and Llama across 30 interfaces and examine alignment with human judgments on multiple UI factors. Our results show that MLLMs approximate human preferences on some dimensions but diverge on others, underscoring both their potential and limitations in supplementing early UX research.

MLLMをUI評価者として：人間のユーザーインターフェース知覚を予測するためのマルチモーダルLLMのベンチマーキング

MLLM as a UI Judge: Benchmarking Multimodal LLMs for Predicting Human Perception of User Interfaces

要旨

Support