MiniAppBench: Evaluatie van de verschuiving van tekst naar interactieve HTML-reacties in door LLM aangedreven assistenten
MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants
March 10, 2026
Auteurs: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li
cs.AI
Samenvatting
Met de snelle vooruitgang van Large Language Models (LLM's) op het gebied van codegeneratie, evolueert de mens-AI-interactie van statische tekstreacties naar dynamische, interactieve HTML-gebaseerde applicaties, die we MiniApps noemen. Deze applicaties vereisen dat modellen niet alleen visuele interfaces renderen, maar ook gepersonaliseerde interactielogica construeren die aan real-world principes voldoet. Echter richten bestaande benchmarks zich voornamelijk op algoritmische correctheid of statische layoutreconstructie, waardoor ze de vereiste capaciteiten voor dit nieuwe paradigma niet vastleggen. Om deze kloof te dichten, introduceren we MiniAppBench, de eerste uitgebreide benchmark die is ontworpen om principegedreven, interactieve applicatiegeneratie te evalueren. Verzameld uit een real-world applicatie met meer dan 10 miljoen gegenereerde voorbeelden, destilleert MiniAppBench 500 taken uit zes domeinen (zoals Games, Wetenschap en Tools). Verder introduceren we, om de uitdaging van het evalueren van open-einde interacties waarbij geen enkele ground truth bestaat aan te pakken, MiniAppEval, een agent-gebaseerd evaluatieraamwerk. Door gebruik te maken van browserautomatisering, voert het mensachtige verkennende tests uit om applicaties systematisch te beoordelen op drie dimensies: Intentie, Statisch en Dynamisch. Onze experimenten tonen aan dat huidige LLM's nog steeds aanzienlijke uitdagingen ondervinden bij het genereren van hoogwaardige MiniApps, terwijl MiniAppEval een hoge alignatie met menselijk oordeel demonstreert, wat een betrouwbare standaard voor toekomstig onderzoek vestigt. Onze code is beschikbaar op github.com/MiniAppBench.
English
With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.