자기 진화형 UI-to-코드 생성을 위한 시각적 수정 맥락으로서의 루브릭

초록

대규모 비전-언어 모델은 UI-코드 생성에서 큰 진전을 보였지만, 테스트 시점 자기 진화는 여전히 불안정하다. 우리는 먼저 시각적 수리 결합(visual repair coupling)이라는 근본적인 장애물을 규명한다. 이는 지역적 코드 수정이 레이아웃, 스타일, 컴포넌트 의존성을 통해 전파되면서, 기존에 충실했던 영역을 저하시키면서도 하나의 시각적 불일치를 교정하는 현상이다. 이 문제를 해결하기 위해 우리는 RubSE(루브릭 기반 자기 진화 프레임워크)를 제안한다. RubSE는 루브릭을 사용하여 시각적 피드백을 구조화된 시각적 수리 맥락으로 표현한다. 각 개선 라운드에서 RubSE는 유형화된 후보 루브릭을 생성하고, 우선순위가 지정된 하나의 수리 대상을 선택하며, 이전에 선택된 루브릭을 이력으로 저장한다. 이를 통해 각 수정이 명확히 범위가 한정된 시각적 수리를 지향하도록 유도하면서, 반복적이거나 과도하게 광범위한 변경을 억제한다. 여섯 개의 VLM과 세 개의 UI-코드 벤치마크에 대한 평가는 RubSE가 최종 라운드 및 최적 라운드 설정 모두에서 단순 자기 진화를 크게 능가하며, 더 안정적인 개선 궤적과 더 높은 궤적 수준 성능 상한을 달성함을 보여준다. 추가 분석에 따르면 RubSE는 심각한 시각적 회귀로부터의 복구를 개선하여 궤적 붕괴를 완화하며, 더 강력한 루브릭 생성기가 약한 코드 개선기에게 효과적인 시각적 수리 지침을 전이할 수 있음을 확인한다.

English

Large vision-language models have shown strong progress in UI-to-code generation, yet their test-time self-evolution remains unstable. We first identify a fundamental obstacle, termed visual repair coupling: a local code edit may propagate through layout, style, and component dependencies, correcting one visual mismatch while degrading regions that were previously faithful. To address this issue, we present RubSE, a Rubric-guided Self-Evolution framework that uses rubrics to represent visual feedback as a structured visual-repair context. At each refinement round, RubSE generates typed candidate rubrics, selects one prioritized repair target, and stores previously selected rubrics as history, thereby steering each revision toward a well-scoped visual repair while discouraging repeated or over-broad changes. Evaluations across six VLMs and three UI-to-code benchmarks demonstrate that RubSE substantially outperforms naïve self-evolution in final-round and best-round settings, achieving more stable refinement trajectories and a higher trajectory-level performance ceiling. Further analysis shows that RubSE mitigates trajectory collapse by improving recovery from severe visual regressions, and that stronger rubric generators can transfer effective visual-repair guidance to weaker code improvers.