MiniAppBench: Оценка перехода от текстовых к интерактивным HTML-ответам в ассистентах на базе больших языковых моделей

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

March 10, 2026

Авторы: Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li

cs.AI

Аннотация

С быстрым прогрессом крупных языковых моделей (LLM) в области генерации кода взаимодействие человека с ИИ эволюционирует от статических текстовых ответов к динамическим интерактивным приложениям на основе HTML, которые мы называем MiniApps. Эти приложения требуют от моделей не только визуализации интерфейсов, но и создания персонализированной логики взаимодействия, соответствующей реальным принципам. Однако существующие бенчмарки в основном сосредоточены на алгоритмической корректности или статической реконструкции макетов, не охватывая возможности, необходимые для этой новой парадигмы. Для устранения этого пробела мы представляем MiniAppBench — первый комплексный бенчмарк, разработанный для оценки принцип-ориентированной генерации интерактивных приложений. Созданный на основе реального приложения с более чем 10 миллионами генераций, MiniAppBench включает 500 задач из шести областей (например, Игры, Наука и Инструменты). Кроме того, для решения проблемы оценки открытых взаимодействий, где не существует единственного эталонного решения, мы предлагаем MiniAppEval — агентскую систему оценки. Используя автоматизацию браузера, она выполняет исследовательское тестирование, подобное человеческому, для систематической оценки приложений по трем измерениям: Интенция, Статика и Динамика. Наши эксперименты показывают, что современные LLM по-прежнему сталкиваются со значительными трудностями в генерации высококачественных MiniApps, в то время как MiniAppEval демонстрирует высокое соответствие человеческим оценкам, устанавливая надежный стандарт для будущих исследований. Наш код доступен по адресу github.com/MiniAppBench.

English

With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.