UI2App: 実行可能なWebアプリケーション生成における視覚的インタラクション推論のベンチマーク評価

要旨

大規模言語モデル（LLM）は、ウェブページ生成において高い能力を示している。しかし、既存のテキスト駆動型アプローチは、ユーザーに大きな負担を強いる複雑なプロンプトに依存しており、ページレイアウトやページ間の視的一貫性に対する表現力が限られている。UIスクリーンショットを入力として扱う画像駆動型パラダイムは、実際の開発ワークフローにより近い。しかし、現在のベンチマークは主に視覚的な忠実性に焦点を当てており、生成されたアーティファクトのインタラクション能力を体系的に評価していない。このギャップを埋めるために、我々はUI2Appを導入する。これは、テキストや行動のガイダンスなしにスクリーンショットのみからアプリケーションの動作を復元する能力である「インタラクション推論」を対象とした初のベンチマークである。UI2Appは、実行可能なマルチルートウェブアプリケーション向けに、45の状態一貫性のあるスクリーンショットセットにグループ化された327枚のスクリーンショットで構成される。我々は、各アーティファクトを実行可能性、ナビゲーション到達可能性、視覚的忠実性、インタラクション推論の4つの次元で評価するエンドツーエンドのパイプラインを設計する。インタラクション指標（IIS）は、推論されたインタラクションを機能的正確性と状態管理の複雑さによって評価し、単一の参照に一致させるのではなく、有効な実装をすべて評価する。6つの最先端ビジョン・ランゲージモデルを用いた実験では、視覚的再構築とインタラクション実現の間に顕著な能力のミスマッチが明らかになった。視覚的忠実性でトップのモデルは、IISでわずか7.5点を獲得し、4位にランクされ、IISトップモデルから5.2倍の差をつけられた。ページ間の状態のような高複雑性のインタラクションは依然として広範なボトルネックであり、評価されたモデルの半数がこの次元で正確に0点を記録した。全体として、この結果は、静的スクリーンショットから完全なインタラクション行動を推論することが、モデルにとって主要な課題であることを示している。

English

Large language models (LLMs) have demonstrated growing competence in web page generation. However, existing text-driven approaches rely on complex prompts that impose substantial demands on users and offer limited expressivity for page layout and cross-page visual coherence. Image-driven paradigms, which take UI screenshots as input, align more closely with real development workflows. However, current benchmarks focus primarily on visual fidelity and lack a systematic evaluation of the interaction capabilities in generated artifacts. To address this gap, we introduce UI2App, the first benchmark targeting interaction inference, the ability to recover application behavior from screenshots alone, without any textual or behavioral guidance. UI2App comprises 327 screenshots grouped into 45 state-coherent screenshot sets for runnable multi-route web applications. We design an end-to-end pipeline that evaluates each artifact along four dimensions: executability, navigation reachability, visual fidelity, and interaction inference. The interaction metric (IIS) assesses inferred interactions by functional correctness and state-management complexity, crediting any valid implementation rather than matching a single reference. Experiments on six frontier vision-language models reveal a marked capability mismatch between visual reconstruction and interaction realization: the visual-fidelity leader scores only 7.5 on IIS, ranking fourth and trailing the IIS leader by 5.2x. High-complexity interactions such as cross-page state remain a pervasive bottleneck, with half of the evaluated models scoring exactly zero on this dimension. Overall, the results indicate that inferring complete interaction behavior from static screenshots remains a key challenge for models.