WebGen-R1: Anreizsetzung für große Sprachmodelle zur Erzeugung funktionaler und ästhetischer Websites mittels verstärkendem Lernen

WebGen-R1: Incentivizing Large Language Models to Generate Functional and Aesthetic Websites with Reinforcement Learning

April 22, 2026

Autoren: Juyong Jiang, Chenglin Cai, Chansung Park, Jiasi Shen, Sunghun Kim, Jianguo Li, Yue Wang

cs.AI

Zusammenfassung

Während Large Language Models (LLMs) bei der funktionsbezogenen Code-Generierung hervorragende Leistungen erbringen, stellen projektbezogene Aufgaben wie die Erstellung funktionaler und visuell ansprechender mehrseitiger Websites nach wie vor eine große Herausforderung dar. Bestehende Arbeiten beschränken sich oft auf statische Einzelseiten-Websites, während agentenbasierte Frameworks typischerweise auf eine mehrstufige Ausführung mit proprietären Modellen angewiesen sind, was zu erheblichen Token-Kosten, hoher Latenz und anfälliger Integration führt. Die End-to-End-Ausbildung eines kleinen LLM mittels Reinforcement Learning (RL) ist eine vielversprechende Alternative, steht jedoch vor einem kritischen Engpass bei der Gestaltung zuverlässiger und recheneffizienter Belohnungsfunktionen für die Website-Generierung. Im Gegensatz zu Einzeldatei-Coding-Aufgaben, die durch Unit-Tests verifiziert werden können, erfordert die Website-Generierung die Bewertung inhärent subjektiver Ästhetik, seitenübergreifender Interaktionen und funktionaler Korrektheit. Zu diesem Zweck schlagen wir WebGen-R1 vor, ein End-to-End-RL-Framework, das speziell für die projektbezogene Website-Generierung entwickelt wurde. Wir führen zunächst ein gerüstgetriebenes, strukturiertes Generierungsparadigma ein, das den großen, offenen Aktionsraum einschränkt und die Architekturintegrität bewahrt. Anschließend entwerfen wir eine neuartige kaskadierte multimodale Belohnungsfunktion, die strukturelle Garantien nahtlos mit ausführungsbasiertem funktionalem Feedback und visuell gestützter ästhetischer Überwachung koppelt. Umfangreiche Experimente zeigen, dass unser WebGen-R1 ein 7B-Basismodell erheblich transformiert: von der Generierung nahezu funktionsunfähiger Websites hin zur Erstellung einsatzfähiger, ästhetisch ansprechender mehrseitiger Websites. Bemerkenswerterweise übertrifft unser WebGen-R1 nicht nur durchgängig stark skalierte Open-Source-Modelle (bis zu 72B), sondern kann mit dem state-of-the-art DeepSeek-R1 (671B) in puncto funktionalem Erfolg mithalten und übertrifft es dabei deutlich in Bezug auf valides Rendering und ästhetische Ausrichtung. Diese Ergebnisse positionieren WebGen-R1 als einen vielversprechenden Weg, um kleine Open-Modelle von der funktionsbezogenen Code-Generierung auf die projektbezogene Generierung von Webanwendungen zu skalieren.

English

While Large Language Models (LLMs) excel at function-level code generation, project-level tasks such as generating functional and visually aesthetic multi-page websites remain highly challenging. Existing works are often limited to single-page static websites, while agentic frameworks typically rely on multi-turn execution with proprietary models, leading to substantial token costs, high latency, and brittle integration. Training a small LLM end-to-end with reinforcement learning (RL) is a promising alternative, yet it faces a critical bottleneck in designing reliable and computationally feasible rewards for website generation. Unlike single-file coding tasks that can be verified by unit tests, website generation requires evaluating inherently subjective aesthetics, cross-page interactions, and functional correctness. To this end, we propose WebGen-R1, an end-to-end RL framework tailored for project-level website generation. We first introduce a scaffold-driven structured generation paradigm that constrains the large open-ended action space and preserves architectural integrity. We then design a novel cascaded multimodal reward that seamlessly couples structural guarantees with execution-grounded functional feedback and vision-based aesthetic supervision. Extensive experiments demonstrate that our WebGen-R1 substantially transforms a 7B base model from generating nearly nonfunctional websites into producing deployable, aesthetically aligned multi-page websites. Remarkably, our WebGen-R1 not only consistently outperforms heavily scaled open-source models (up to 72B), but also rivals the state-of-the-art DeepSeek-R1 (671B) in functional success, while substantially exceeding it in valid rendering and aesthetic alignment. These results position WebGen-R1 as a viable path for scaling small open models from function-level code generation to project-level web application generation.