ルーブリックを視覚的修復コンテキストとした自己進化的UI-to-コード生成

要旨

大規模視覚言語モデルはUI-to-code生成において大きな進歩を示しているが、そのテスト時自己進化は依然として不安定である。まず、我々は「視覚修復結合（visual repair coupling）」と呼ばれる根本的な障害を特定する。これは、局所的なコード編集がレイアウト、スタイル、コンポーネントの依存関係を通じて伝播し、ある視覚的不一致を修正する一方で、以前は忠実だった領域を劣化させるというものである。この問題に対処するため、我々はルーブリック誘導自己進化フレームワークであるRubSEを提案する。RubSEはルーブリックを用いて視覚的フィードバックを構造化された視覚修復コンテキストとして表現する。各改善ラウンドにおいて、RubSEは型付きルーブリック候補を生成し、優先された修復対象を1つ選択し、以前に選択したルーブリックを履歴として保存する。これにより、各改訂を適切に範囲が限定された視覚修復へと導くとともに、繰り返しや過度に広範な変更を抑制する。6つのVLMと3つのUI-to-codeベンチマークにわたる評価は、RubSEが最終ラウンド設定と最良ラウンド設定の双方でナイーブな自己進化を大幅に上回り、より安定した改善軌道と、より高い軌道レベルの性能上限を達成することを示している。さらなる分析では、RubSEが深刻な視覚的退行からの回復を改善することで軌道崩壊を緩和すること、また、より強力なルーブリック生成器が、より弱いコード改善器に対して効果的な視覚修復ガイダンスを転移できることが示される。

English

Large vision-language models have shown strong progress in UI-to-code generation, yet their test-time self-evolution remains unstable. We first identify a fundamental obstacle, termed visual repair coupling: a local code edit may propagate through layout, style, and component dependencies, correcting one visual mismatch while degrading regions that were previously faithful. To address this issue, we present RubSE, a Rubric-guided Self-Evolution framework that uses rubrics to represent visual feedback as a structured visual-repair context. At each refinement round, RubSE generates typed candidate rubrics, selects one prioritized repair target, and stores previously selected rubrics as history, thereby steering each revision toward a well-scoped visual repair while discouraging repeated or over-broad changes. Evaluations across six VLMs and three UI-to-code benchmarks demonstrate that RubSE substantially outperforms naïve self-evolution in final-round and best-round settings, achieving more stable refinement trajectories and a higher trajectory-level performance ceiling. Further analysis shows that RubSE mitigates trajectory collapse by improving recovery from severe visual regressions, and that stronger rubric generators can transfer effective visual-repair guidance to weaker code improvers.