MiniAppBench: LLM搭載アシスタントにおけるテキストから対話型HTMLレスポンスへの移行の評価

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

March 10, 2026

著者: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li

cs.AI

要旨

大規模言語モデル（LLM）のコード生成能力が急速に進歩する中で、人間とAIのインタラクションは静的なテキスト応答から、我々がMiniAppsと呼ぶ動的で対話的なHTMLベースのアプリケーションへと進化しつつある。これらのアプリケーションでは、モデルが視覚的インターフェースをレンダリングするだけでなく、現実世界の原理に沿ったカスタマイズされたインタラクションロジックを構築することが求められる。しかし、既存のベンチマークは主にアルゴリズムの正確性や静的なレイアウト再構成に焦点を当てており、この新たなパラダイムに必要な能力を十分に捉えられていない。このギャップを埋めるため、我々は原理駆動型の対話的アプリケーション生成を評価する初の包括的ベンチマークであるMiniAppBenchを提案する。実世界のアプリケーション（生成数1000万回以上）から抽出したMiniAppBenchは、6つのドメイン（ゲーム、科学、ツールなど）にわたる500のタスクで構成されている。さらに、単一の正解が存在しないオープンエンドなインタラクションの評価課題に対処するため、エージェント型評価フレームワークMiniAppEvalを提案する。ブラウザ自動化技術を活用し、人間のような探索的テストを実行することで、アプリケーションを意図、静的、動的の3次元にわたって体系的に評価する。実験結果から、現在のLLMは高品質なMiniAppの生成において依然として大きな課題に直面している一方で、MiniAppEvalは人間の判断と高い一致を示し、将来の研究における信頼性の高い評価基準を確立することが明らかになった。コードはgithub.com/MiniAppBenchで公開している。

English

With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.