MiniAppBench: Valutare il Passaggio dal Testo a Risposte HTML Interattive negli Assistenti Basati su LLM

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

March 10, 2026

Autori: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li

cs.AI

Abstract

Con il rapido avanzamento dei Large Language Model (LLM) nella generazione di codice, l'interazione uomo-IA si sta evolvendo da semplici risposte testuali statiche verso applicazioni dinamiche e interattive basate su HTML, che definiamo MiniApp. Queste applicazioni richiedono ai modelli non solo di generare interfacce visive, ma anche di costruire logiche interattive personalizzate che aderiscano a principi del mondo reale. Tuttavia, i benchmark esistenti si concentrano principalmente sulla correttezza algoritmica o sulla ricostruzione statica dei layout, non riuscendo a cogliere le capacità richieste da questo nuovo paradigma. Per colmare questa lacuna, introduciamo MiniAppBench, il primo benchmark completo progettato per valutare la generazione di applicazioni interattive guidata da principi. Derivato da un'applicazione reale con oltre 10 milioni di generazioni, MiniAppBench seleziona 500 task in sei domini (ad esempio, Giochi, Scienza e Strumenti). Inoltre, per affrontare la sfida della valutazione di interazioni aperte per le quali non esiste una singola verità di riferimento, proponiamo MiniAppEval, un framework di valutazione agente. Sfruttando l'automazione browser, esso esegue test esplorativi simili a quelli umani per valutare sistematicamente le applicazioni lungo tre dimensioni: Intenzione, Statico e Dinamico. I nostri esperimenti rivelano che gli attuali LLM incontrano ancora sfide significative nella generazione di MiniApp di alta qualità, mentre MiniAppEval dimostra un elevato allineamento con il giudizio umano, stabilendo uno standard affidabile per la ricerca futura. Il nostro codice è disponibile su github.com/MiniAppBench.

English

With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.