UI2App: 실행 가능한 웹 애플리케이션 생성에서의 시각적 상호작용 추론 벤치마킹

초록

대규모 언어 모델(LLM)은 웹 페이지 생성 능력에서 점차 발전된 역량을 보여주고 있다. 그러나 기존의 텍스트 기반 접근 방식은 사용자에게 상당한 요구를 부과하는 복잡한 프롬프트에 의존하며, 페이지 레이아웃과 페이지 간 시각적 일관성에 대한 표현력이 제한적이다. UI 스크린샷을 입력으로 활용하는 이미지 기반 패러다임은 실제 개발 워크플로우와 더 밀접하게 일치한다. 하지만 현재의 벤치마크는 주로 시각적 충실도에 초점을 맞추고 있으며, 생성된 산출물의 상호작용 능력에 대한 체계적인 평가가 부족하다. 이러한 격차를 해소하기 위해, 우리는 텍스트나 행동 지침 없이 스크린샷만으로 애플리케이션 동작을 복원하는 능력인 상호작용 추론을 목표로 하는 최초의 벤치마크인 UI2App을 소개한다. UI2App은 실행 가능한 다중 경로 웹 애플리케이션을 위한 45개의 상태 일관성 있는 스크린샷 세트로 그룹화된 327개의 스크린샷으로 구성된다. 우리는 각 산출물을 실행 가능성, 탐색 도달 가능성, 시각적 충실도, 상호작용 추론의 네 가지 차원에서 평가하는 종단 간 파이프라인을 설계한다. 상호작용 지표(IIS)는 기능적 정확성과 상태 관리 복잡성에 따라 추론된 상호작용을 평가하며, 단일 참조와 일치시키기보다는 유효한 구현을 인정한다. 6개의 최첨단 비전-언어 모델에 대한 실험 결과, 시각적 재구성과 상호작용 실현 사이에 현저한 능력 불일치가 드러났다. 시각적 충실도 리더는 IIS에서 7.5점을 기록하며 4위에 그쳤고, IIS 선두 모델보다 5.2배 낮은 점수를 보였다. 페이지 간 상태 유지와 같은 높은 복잡성의 상호작용은 여전히 만성적인 병목으로 남아 있으며, 평가된 모델 중 절반이 이 차원에서 정확히 0점을 기록했다. 전반적으로, 결과는 정적 스크린샷으로부터 완전한 상호작용 동작을 추론하는 것이 모델들에게 여전히 핵심 과제임을 시사한다.

English

Large language models (LLMs) have demonstrated growing competence in web page generation. However, existing text-driven approaches rely on complex prompts that impose substantial demands on users and offer limited expressivity for page layout and cross-page visual coherence. Image-driven paradigms, which take UI screenshots as input, align more closely with real development workflows. However, current benchmarks focus primarily on visual fidelity and lack a systematic evaluation of the interaction capabilities in generated artifacts. To address this gap, we introduce UI2App, the first benchmark targeting interaction inference, the ability to recover application behavior from screenshots alone, without any textual or behavioral guidance. UI2App comprises 327 screenshots grouped into 45 state-coherent screenshot sets for runnable multi-route web applications. We design an end-to-end pipeline that evaluates each artifact along four dimensions: executability, navigation reachability, visual fidelity, and interaction inference. The interaction metric (IIS) assesses inferred interactions by functional correctness and state-management complexity, crediting any valid implementation rather than matching a single reference. Experiments on six frontier vision-language models reveal a marked capability mismatch between visual reconstruction and interaction realization: the visual-fidelity leader scores only 7.5 on IIS, ranking fourth and trailing the IIS leader by 5.2x. High-complexity interactions such as cross-page state remain a pervasive bottleneck, with half of the evaluated models scoring exactly zero on this dimension. Overall, the results indicate that inferring complete interaction behavior from static screenshots remains a key challenge for models.