MiniAppBench: Bewertung des Wandels von textbasierten zu interaktiven HTML-Antworten in KI-gestützten Assistenten
MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants
March 10, 2026
Autoren: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li
cs.AI
Zusammenfassung
Mit der rasanten Entwicklung von Large Language Models (LLMs) in der Code-Generierung entwickelt sich die Mensch-KI-Interaktion von statischen Textantworten hin zu dynamischen, interaktiven HTML-basierten Anwendungen, die wir als MiniApps bezeichnen. Diese Anwendungen erfordern von Modellen nicht nur die Darstellung visueller Oberflächen, sondern auch die Erstellung einer maßgeschneiderten Interaktionslogik, die realen Prinzipien folgt. Bisherige Benchmarks konzentrieren sich jedoch primär auf algorithmische Korrektheit oder statische Layout-Rekonstruktion und erfassen nicht die Fähigkeiten, die für dieses neue Paradigma erforderlich sind. Um diese Lücke zu schließen, führen wir MiniAppBench ein, den ersten umfassenden Benchmark zur Bewertung der prinzipiengetriebenen, interaktiven Anwendungsgenerierung. Ausgehend von einer realen Anwendung mit über 10 Millionen Generierungen verdichtet MiniAppBench 500 Aufgaben aus sechs Domänen (z.B. Spiele, Wissenschaft und Werkzeuge). Um zudem die Herausforderung der Bewertung offener Interaktionen ohne eindeutige Referenzlösung zu bewältigen, schlagen wir MiniAppEval vor, ein agentenbasiertes Evaluierungsframework. Durch den Einsatz von Browser-Automatisierung führt es explorative Tests nach menschlichem Vorbild durch, um Anwendungen systematisch in drei Dimensionen zu bewerten: Intention, Statik und Dynamik. Unsere Experimente zeigen, dass aktuelle LLMs nach wie vor erhebliche Schwierigkeiten bei der Generierung hochwertiger MiniApps haben, während MiniAppEval eine hohe Übereinstimmung mit menschlichen Bewertungen aufweist und somit einen verlässlichen Standard für zukünftige Forschung etabliert. Unser Code ist auf github.com/MiniAppBench verfügbar.
English
With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.