MiniAppBench: LLM 기반 어시스턴트에서 텍스트에서 대화형 HTML 응답으로의 전환 평가

초록

대규모 언어 모델(LLM)의 코드 생성 기술이 빠르게 발전함에 따라, 인간과 AI의 상호작용은 정적인 텍스트 응답에서 동적인 HTML 기반 애플리케이션으로 진화하고 있으며, 우리는 이를 MiniApp이라고 명명합니다. 이러한 애플리케이션은 모델이 시각적 인터페이스를 렌더링할 뿐만 아니라 현실 세계의 원칙을 준수하는 맞춤형 상호작용 로직을 구축할 것을 요구합니다. 그러나 기존 벤치마크는 주로 알고리즘적 정확성이나 정적 레이아웃 재현에 중점을 두어 이 새로운 패러다임에 필요한 능력을 제대로 평가하지 못하고 있습니다. 이러한 격차를 해결하기 위해 우리는 원칙 기반의 상호작용형 애플리케이션 생성을 평가하도록 설계된 최초의 종합 벤치마크인 MiniAppBench를 소개합니다. 실제 애플리케이션(1천만 건 이상 생성)에서 도출된 MiniAppBench는 6개 도메인(예: 게임, 과학, 도구)에 걸친 500개의 과제를 정제했습니다. 더 나아가 단일 정답이 존재하지 않는 개방형 상호작용 평가의难题를 해결하기 위해 에이전트 기반 평가 프레임워크인 MiniAppEval을 제안합니다. 이 프레임워크는 브라우저 자동화를 활용하여 인간과 유사한 탐색적 테스트를 수행하며, 의도(Intention), 정적(Static), 동적(Dynamic)이라는 세 가지 차원에서 애플리케이션을 체계적으로 평가합니다. 우리의 실험 결과, 현재 LLM은 고품질 MiniApp 생성에 여전히 상당한 어려움을 겪는 반면, MiniAppEval은 인간의 판단과 높은 일치도를 보여 미래 연구를 위한 신뢰할 수 있는 기준을 마련했습니다. 우리의 코드는 github.com/MiniAppBench에서 확인할 수 있습니다.

English

With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.

MiniAppBench: LLM 기반 어시스턴트에서 텍스트에서 대화형 HTML 응답으로의 전환 평가

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

초록

Support