EvoGenUI-Bench: LLM을 다중 턴 생성형 UI 어시스턴트로 평가

초록

대규모 언어 모델은 대화형 웹 인터페이스를 생성할 수 있지만, 신뢰할 수 있는 생성형 UI는 사용자 요청이 진화함에 따라 실행 가능한 산출물을 유지하는 것을 요구한다. 본 연구에서는 다중 턴 인터페이스 유지 관리를 위한 벤치마크인 EvoGenUI-Bench를 소개한다. 이 벤치마크는 정보 제시, 실행 가능한 상호작용, 도구 기반 외부 상태의 세 가지 시나리오에 걸쳐 150개의 5턴 과제와 750개의 턴으로 구성된다. 생성된 산출물을 브라우저에서 실행하고 스크린샷, 소스 및 DOM 증거, 행위자 추적, 런타임 로그를 사용하여 평가한다. 턴 수준 및 에피소드 수준 성공 외에도 인접 턴 통과 유지율(Adjacent Pass Retention)로 교차 턴 유지 능력을 측정한다. 8개 모델을 평가한 결과, 가장 우수한 모델조차 턴 통과율 74.9%를 달성했지만 5턴 에피소드를 완료한 비율은 37.3%에 불과했으며, APR은 도구 기반 과제에서 52.4%로 추가 하락했다. 진단 분석에 따르면 제시 실패는 정보 구조에 집중되고, 상호작용 실패는 파생 상태 전파와 어포던스 바인딩에서 발생하며, 도구 기반 실패는 추가적으로 외부 상태 접지와 요구사항 분해와 관련된다. 이러한 결과는 생성형 UI 평가를 고립된 출력물 판단에서 인터페이스 동작, 파생 상태, 외부 상태, 그리고 어시스턴트의 주장이 산출물 진화 전반에 걸쳐 동기화를 유지하는지 검증하는 방향으로 재구성한다.

English

Large language models can generate interactive web interfaces, but reliable generative UI requires maintaining an executable artifact as user requests evolve. We introduce EvoGenUI-Bench, a benchmark for multi-turn interface maintenance comprising 150 five-turn tasks and 750 turns across three scenarios: information presentation, executable interaction, and tool-grounded external state. We execute generated artifacts in a browser and evaluate them using screenshots, source and DOM evidence, actor traces, and runtime logs. Beyond turn-level and episode-level success, we measure cross-turn retention with Adjacent Pass Retention. Across eight models, even the strongest achieves 74.9% Turn Pass while completing only 37.3% of five-turn episodes; APR further falls to 52.4% on tool-grounded tasks. Diagnostic analysis shows that presentation failures center on information architecture, interaction failures on derived-state propagation and affordance binding, and tool-grounded failures additionally involve external-state grounding and requirement decomposition. These results reframe generative UI evaluation from judging isolated outputs to testing whether interface behavior, derived state, external state, and assistant claims remain synchronized as the artifact evolves.