WebVIA: インタラクティブかつ検証可能なUI-to-Code生成のためのWebベース視覚言語エージェントフレームワーク
WebVIA: A Web-based Vision-Language Agentic Framework for Interactive and Verifiable UI-to-Code Generation
November 9, 2025
著者: Mingde Xu, Zhen Yang, Wenyi Hong, Lihang Pan, Xinyue Fan, Yan Wang, Xiaotao Gu, Bin Xu, Jie Tang
cs.AI
要旨
ユーザーインターフェース（UI）開発では、デザインモックアップを機能するコードに変換する作業が必要ですが、このプロセスは反復的で労力を要するものとなっています。最近のVision-Languageモデル（VLM）はUIからコードへの自動生成を実現していますが、生成されるのは静的なHTML/CSS/JavaScriptのレイアウトであり、インタラクティブ性に欠けています。この課題に対処するため、我々はインタラクティブなUIからコードへの生成と検証を実現する初のエージェント型フレームワーク「WebVIA」を提案します。本フレームワークは3つのコンポーネントで構成されます：1）複数状態のUIスクリーンショットを取得する探索エージェント、2）実行可能なインタラクティブコードを生成するUI2Codeモデル、3）インタラクティブ性を検証する検証モジュールです。実験により、WebVIAエージェントが汎用エージェント（例：Gemini-2.5-Pro）よりも安定かつ正確なUI探索を実現することが示されました。さらに、ファインチューニングしたWebVIA-UI2Codeモデルは、実行可能でインタラクティブなHTML/CSS/JavaScriptコードの生成において大幅な改善を示し、インタラクティブおよび静的なUI2Codeベンチマークの両方でベースモデルを凌駕する性能を発揮しました。コードとモデルはhttps://zheny2751-dotcom.github.io/webvia.github.io/（https://webvia.github.io）で公開しています。
English
User interface (UI) development requires translating design mockups into functional code, a process that remains repetitive and labor-intensive. While recent Vision-Language Models (VLMs) automate UI-to-Code generation, they generate only static HTML/CSS/JavaScript layouts lacking interactivity. To address this, we propose WebVIA, the first agentic framework for interactive UI-to-Code generation and validation. The framework comprises three components: 1) an exploration agent to capture multi-state UI screenshots; 2) a UI2Code model that generates executable interactive code; 3) a validation module that verifies the interactivity. Experiments demonstrate that WebVIA-Agent achieves more stable and accurate UI exploration than general-purpose agents (e.g., Gemini-2.5-Pro). In addition, our fine-tuned WebVIA-UI2Code models exhibit substantial improvements in generating executable and interactive HTML/CSS/JavaScript code, outperforming their base counterparts across both interactive and static UI2Code benchmarks. Our code and models are available at https://zheny2751-dotcom.github.io/webvia.github.io/{https://webvia.github.io}.