ReLook: Visueel-gestuurde RL met een multimodale LLM-criticus voor agentgericht webprogrammeren

ReLook: Vision-Grounded RL with a Multimodal LLM Critic for Agentic Web Coding

October 13, 2025

Auteurs: Yuhang Li, Chenchen Zhang, Ruilin Lv, Ao Liu, Ken Deng, Yuanxing Zhang, Jiaheng Liu, Wiggin Zhou, Bo Zhou

cs.AI

Samenvatting

Hoewel grote taalmodellen (LLMs) uitblinken in het genereren van algoritmische code, hebben ze moeite met front-end ontwikkeling, waar correctheid wordt beoordeeld op gerenderde pixels en interactie. Wij presenteren ReLook, een agent-gebaseerd, visueel verankerd reinforcement learning-framework dat een agent in staat stelt om een robuuste genereren-diagnosticeren-verfijnen-lus te sluiten door een multimodaal LLM (MLLM) als hulpmiddel in te zetten. Tijdens de training gebruikt de agent de MLLM-in-the-loop zowel als visuele criticus—die code beoordeelt met schermafbeeldingen—als als bron van actiegerichte, visueel verankerde feedback; een strikte nul-beloningsregel voor ongeldige renders waarborgt renderbaarheid en voorkomt beloningsmanipulatie. Om gedragsinstorting te voorkomen, introduceren we Forced Optimization, een strikte acceptatieregel die alleen verbeterende revisies toelaat, wat resulteert in monotoon betere trajecten. Tijdens inferentie ontkoppelen we de criticus en voeren we een lichtgewicht, criticus-vrije zelfbewerkingscyclus uit, waardoor de latentie vergelijkbaar blijft met basisdecodering terwijl het grootste deel van de winst behouden blijft. Over drie veelgebruikte benchmarks heen presteert ReLook consistent beter dan sterke baselines in visueel verankerde front-end codegeneratie, wat de voordelen benadrukt van agent-gebaseerde perceptie, visuele beloningen en training-inferentie-ontkoppeling.

English

While Large Language Models (LLMs) excel at algorithmic code generation, they struggle with front-end development, where correctness is judged on rendered pixels and interaction. We present ReLook, an agentic, vision-grounded reinforcement learning framework that empowers an agent to close a robust generate--diagnose--refine loop by invoking a multimodal LLM (MLLM) as a tool. During training, the agent uses the MLLM-in-the-loop both as a visual critic--scoring code with screenshots--and as a source of actionable, vision-grounded feedback; a strict zero-reward rule for invalid renders anchors renderability and prevents reward hacking. To prevent behavioral collapse, we introduce Forced Optimization, a strict acceptance rule that admits only improving revisions, yielding monotonically better trajectories. At inference, we decouple the critic and run a lightweight, critic-free self-edit cycle, keeping latency comparable to base decoding while retaining most of the gains. Across three widely used benchmarks, ReLook consistently outperforms strong baselines in vision-grounded front-end code generation, highlighting the benefits of agentic perception, visual rewards, and training-inference decoupling.