EvoGenUI-Bench：マルチターン生成的UIアシスタントとしてのLLMの評価

要旨

大規模言語モデルは対話型Webインターフェースを生成できるが、信頼できる生成的UIには、ユーザー要求の変化に合わせて実行可能なアーティファクトを維持することが不可欠である。本稿では、マルチターンのインターフェース維持のためのベンチマークであるEvoGenUI-Benchを提案する。EvoGenUI-Benchは、情報提示、実行可能なインタラクション、ツール接地型外部状態の3シナリオにわたり、150件の5ターンタスクと計750ターンで構成される。生成されたアーティファクトをブラウザ上で実行し、スクリーンショット、ソースおよびDOMの証跡、アクタートレース、ランタイムログを用いて評価する。ターン単位およびエピソード単位の成功に加え、ターン間保持を隣接パス保持率（Adjacent Pass Retention、APR）で測定する。8モデルのうち、最良のモデルでもターンパス率は74.9%であり、5ターンのエピソードを完了できたのは37.3%にとどまり、APRはツール接地型タスクではさらに52.4%に低下する。診断分析によれば、提示の失敗は情報アーキテクチャに、インタラクションの失敗は派生状態の伝播とアフォーダンスの結び付けに集中し、ツール接地型タスクの失敗には、さらに外部状態への接地と要求分解が関与する。これらの結果は、生成的UIの評価を、孤立した出力の判定から、アーティファクトの進化に伴ってインターフェースの挙動、派生状態、外部状態、およびアシスタントの主張が同期を保つかどうかの検証へと再構成するものである。

English

Large language models can generate interactive web interfaces, but reliable generative UI requires maintaining an executable artifact as user requests evolve. We introduce EvoGenUI-Bench, a benchmark for multi-turn interface maintenance comprising 150 five-turn tasks and 750 turns across three scenarios: information presentation, executable interaction, and tool-grounded external state. We execute generated artifacts in a browser and evaluate them using screenshots, source and DOM evidence, actor traces, and runtime logs. Beyond turn-level and episode-level success, we measure cross-turn retention with Adjacent Pass Retention. Across eight models, even the strongest achieves 74.9% Turn Pass while completing only 37.3% of five-turn episodes; APR further falls to 52.4% on tool-grounded tasks. Diagnostic analysis shows that presentation failures center on information architecture, interaction failures on derived-state propagation and affordance binding, and tool-grounded failures additionally involve external-state grounding and requirement decomposition. These results reframe generative UI evaluation from judging isolated outputs to testing whether interface behavior, derived state, external state, and assistant claims remain synchronized as the artifact evolves.