MiniAppBench: Avaliando a Transição de Respostas em Texto para HTML Interativo em Assistentes Baseados em LLM

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

March 10, 2026

Autores: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li

cs.AI

Resumo

Com o rápido avanço dos Grandes Modelos de Linguagem (LLMs) na geração de código, a interação humano-IA está a evoluir de respostas de texto estáticas para aplicações dinâmicas e interativas baseadas em HTML, que designamos por MiniApps. Estas aplicações exigem que os modelos não apenas renderizem interfaces visuais, mas também construam lógicas de interação personalizadas que adiram a princípios do mundo real. No entanto, os benchmarks existentes focam-se principalmente na correção algorítmica ou na reconstrução estática de layouts, não conseguindo capturar as capacidades necessárias para este novo paradigma. Para colmatar esta lacuna, introduzimos o MiniAppBench, o primeiro benchmark abrangente concebido para avaliar a geração de aplicações interativas orientada a princípios. Com origem numa aplicação real com mais de 10 milhões de gerações, o MiniAppBench destila 500 tarefas em seis domínios (por exemplo, Jogos, Ciência e Ferramentas). Adicionalmente, para enfrentar o desafio de avaliar interações abertas onde não existe uma única verdade fundamental, propomos o MiniAppEval, um quadro de avaliação agentivo. Aproveitando a automação de navegadores, este framework realiza testes exploratórios semelhantes aos humanos para avaliar sistematicamente as aplicações em três dimensões: Intenção, Estática e Dinâmica. As nossas experiências revelam que os LLMs atuais ainda enfrentam desafios significativos na geração de MiniApps de alta qualidade, enquanto o MiniAppEval demonstra uma elevada correlação com o julgamento humano, estabelecendo um padrão fiável para investigação futura. O nosso código está disponível em github.com/MiniAppBench.

English

With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.