WebGen-Agent: Miglioramento della Generazione Interattiva di Siti Web con Feedback Multi-Livello e Apprendimento per Rinforzo a Livello di Passo

WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning

September 26, 2025

Autori: Zimu Lu, Houxing Ren, Yunqiao Yang, Ke Wang, Zhuofan Zong, Junting Pan, Mingjie Zhan, Hongsheng Li

cs.AI

Abstract

I sistemi agenti basati su modelli linguistici di grandi dimensioni (LLM) hanno dimostrato prestazioni impressionanti nei compiti di generazione di codice a livello di repository. Tuttavia, per compiti come la generazione di codebase per siti web, che dipendono fortemente da effetti visivi e feedback sull'interazione dell'utente, gli attuali agenti di codice si affidano solo a una semplice esecuzione del codice per il feedback e la verifica. Questo approccio non riesce a catturare la qualità effettiva del codice generato. In questo articolo, proponiamo WebGen-Agent, un innovativo agente per la generazione di siti web che sfrutta un feedback visivo completo e multi-livello per generare e perfezionare iterativamente il codebase del sito web. Descrizioni testuali dettagliate ed espressive, insieme a suggerimenti riguardanti gli screenshot e i test dell'interfaccia grafica (GUI) dei siti web, vengono generati da un modello linguistico visivo (VLM), accompagnati da punteggi che ne quantificano la qualità. I punteggi degli screenshot e dell'agente GUI sono ulteriormente integrati con un meccanismo di backtracking e selezione del migliore, migliorando le prestazioni dell'agente. Utilizzando i punteggi visivi accurati intrinseci nel flusso di lavoro di WebGen-Agent, introduciamo ulteriormente Step-GRPO con Feedback da Screenshot e Agente GUI per migliorare la capacità degli LLM di agire come motore di ragionamento di WebGen-Agent. Utilizzando i punteggi degli screenshot e dell'agente GUI ad ogni passo come ricompensa in Step-GRPO, forniamo un segnale di supervisione del processo denso e affidabile, che migliora efficacemente la capacità del modello di generare siti web. Sul dataset WebGen-Bench, WebGen-Agent aumenta l'accuratezza di Claude-3.5-Sonnet dal 26,4% al 51,9% e il suo punteggio di aspetto da 3,0 a 3,9, superando il precedente sistema agente all'avanguardia. Inoltre, il nostro approccio di addestramento Step-GRPO aumenta l'accuratezza di Qwen2.5-Coder-7B-Instruct dal 38,9% al 45,4% e alza il punteggio di aspetto da 3,4 a 3,7.

English

Agent systems powered by large language models (LLMs) have demonstrated impressive performance on repository-level code-generation tasks. However, for tasks such as website codebase generation, which depend heavily on visual effects and user-interaction feedback, current code agents rely only on simple code execution for feedback and verification. This approach fails to capture the actual quality of the generated code. In this paper, we propose WebGen-Agent, a novel website-generation agent that leverages comprehensive and multi-level visual feedback to iteratively generate and refine the website codebase. Detailed and expressive text descriptions and suggestions regarding the screenshots and GUI-agent testing of the websites are generated by a visual language model (VLM), together with scores that quantify their quality. The screenshot and GUI-agent scores are further integrated with a backtracking and select-best mechanism, enhancing the performance of the agent. Utilizing the accurate visual scores inherent in the WebGen-Agent workflow, we further introduce Step-GRPO with Screenshot and GUI-agent Feedback to improve the ability of LLMs to act as the reasoning engine of WebGen-Agent. By using the screenshot and GUI-agent scores at each step as the reward in Step-GRPO, we provide a dense and reliable process supervision signal, which effectively improves the model's website-generation ability. On the WebGen-Bench dataset, WebGen-Agent increases the accuracy of Claude-3.5-Sonnet from 26.4% to 51.9% and its appearance score from 3.0 to 3.9, outperforming the previous state-of-the-art agent system. Additionally, our Step-GRPO training approach increases the accuracy of Qwen2.5-Coder-7B-Instruct from 38.9% to 45.4% and raises the appearance score from 3.4 to 3.7.