MiniAppBench: Evaluación del Cambio de Texto a Respuestas HTML Interactivas en Asistentes Potenciados por LLM

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

March 10, 2026

Autores: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li

cs.AI

Resumen

Con el rápido avance de los Modelos de Lenguaje a Gran Escala (LLM) en la generación de código, la interacción humano-IA está evolucionando desde respuestas de texto estáticas hacia aplicaciones dinámicas e interactivas basadas en HTML, que denominamos MiniApps. Estas aplicaciones requieren que los modelos no solo rendericen interfaces visuales, sino que también construyan lógicas de interacción personalizadas que se adhieran a principios del mundo real. Sin embargo, los puntos de referencia existentes se centran principalmente en la corrección algorítmica o la reconstrucción de diseños estáticos, sin capturar las capacidades requeridas para este nuevo paradigma. Para abordar esta brecha, presentamos MiniAppBench, el primer punto de referencia integral diseñado para evaluar la generación de aplicaciones interactivas basadas en principios. Extraído de una aplicación del mundo real con más de 10 millones de generaciones, MiniAppBench destila 500 tareas en seis dominios (por ejemplo, Juegos, Ciencia y Herramientas). Además, para abordar el desafío de evaluar interacciones abiertas donde no existe una única verdad de referencia, proponemos MiniAppEval, un marco de evaluación agéntico. Aprovechando la automatización de navegadores, realiza pruebas exploratorias similares a las humanas para evaluar sistemáticamente las aplicaciones en tres dimensiones: Intención, Estática y Dinámica. Nuestros experimentos revelan que los LLM actuales aún enfrentan desafíos significativos para generar MiniApps de alta calidad, mientras que MiniAppEval demuestra una alta alineación con el criterio humano, estableciendo un estándar confiable para la investigación futura. Nuestro código está disponible en github.com/MiniAppBench.

English

With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.