MiniAppBench : Évaluer le passage des réponses textuelles aux réponses HTML interactives dans les assistants propulsés par les LLM
MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants
March 10, 2026
Auteurs: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li
cs.AI
Résumé
Avec les progrès rapides des grands modèles de langage (LLM) dans la génération de code, l'interaction humain-IA évolue des réponses textuelles statiques vers des applications dynamiques et interactives basées sur HTML, que nous nommons MiniApps. Ces applications exigent des modèles qu'ils restituent non seulement des interfaces visuelles, mais aussi qu'ils construisent une logique d'interaction personnalisée respectant des principes du monde réel. Cependant, les benchmarks existants se concentrent principalement sur l'exactitude algorithmique ou la reconstruction statique des mises en page, sans parvenir à capturer les capacités requises pour ce nouveau paradigme. Pour combler cette lacune, nous présentons MiniAppBench, le premier benchmark complet conçu pour évaluer la génération d'applications interactives guidée par des principes. Sourcé à partir d'une application réelle ayant généré plus de 10 millions de contenus, MiniAppBench distille 500 tâches réparties dans six domaines (par exemple, Jeux, Sciences et Outils). De plus, pour relever le défi de l'évaluation d'interactions ouvertes où aucune vérité terrain unique n'existe, nous proposons MiniAppEval, un cadre d'évaluation agentique. Tirant parti de l'automatisation navigateur, il effectue des tests exploratoires similaires à ceux d'un humain pour évaluer systématiquement les applications selon trois dimensions : Intention, Statique et Dynamique. Nos expériences révèlent que les LLM actuels rencontrent encore des difficultés significatives à générer des MiniApps de haute qualité, tandis que MiniAppEval démontre une forte corrélation avec le jugement humain, établissant une norme fiable pour les recherches futures. Notre code est disponible sur github.com/MiniAppBench.
English
With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.