ArtifactsBench: Het overbruggen van de visueel-interactieve kloof in de evaluatie van codegeneratie door grote taalmodellen

Samenvatting

De generatieve mogelijkheden van Large Language Models (LLMs) breiden zich snel uit van statische code naar dynamische, interactieve visuele artefacten. Deze vooruitgang wordt belemmerd door een kritieke evaluatiekloof: bestaande benchmarks richten zich op algoritmische correctheid en zijn blind voor de visuele kwaliteit en interactieve integriteit die moderne gebruikerservaringen definiëren. Om deze kloof te overbruggen, introduceren we ArtifactsBench, een nieuwe benchmark en paradigma voor de geautomatiseerde, multimodale evaluatie van visuele codegeneratie. Ons framework rendert elk gegenereerd artefact programmatisch en legt het dynamische gedrag vast via temporele schermafbeeldingen. Dit visuele bewijs, samen met de broncode, wordt vervolgens beoordeeld door een Multimodal LLM (MLLM)-as-Judge, die rigoureus wordt geleid door een gedetailleerde, taakspecifieke checklist om holistische en reproduceerbare scoring te garanderen. We construeren een nieuwe benchmark van 1.825 diverse taken en evalueren meer dan 30 toonaangevende LLMs. Onze geautomatiseerde evaluatie bereikt een opmerkelijke 94,4% rangschikkingsconsistentie met WebDev Arena, de gouden standaard voor menselijke voorkeur in webontwikkeling, en meer dan 90% paarwijze overeenstemming met menselijke experts. Dit vestigt ArtifactsBench als het eerste framework dat de beoordeling van door mensen waargenomen kwaliteit op grote schaal betrouwbaar kan automatiseren. Onze analyse biedt een gedetailleerde kaart van de huidige state-of-the-art (SOTA), waaruit blijkt dat generalistische modellen vaak beter presteren dan domeinspecifieke. We open-sourcen ArtifactsBench, inclusief de benchmark, evaluatieharnas en basislijresultaten op https://artifactsbenchmark.github.io/, om de gemeenschap een schaalbaar en nauwkeurig hulpmiddel te bieden om de ontwikkeling van gebruikersgerichte generatieve modellen te versnellen.

English

The generative capabilities of Large Language Models (LLMs) are rapidly expanding from static code to dynamic, interactive visual artifacts. This progress is bottlenecked by a critical evaluation gap: established benchmarks focus on algorithmic correctness and are blind to the visual fidelity and interactive integrity that define modern user experiences. To bridge this gap, we introduce ArtifactsBench, a new benchmark and paradigm for the automated, multimodal evaluation of visual code generation. Our framework programmatically renders each generated artifact and captures its dynamic behavior through temporal screenshots. This visual evidence, alongside the source code, is then assessed by a Multimodal LLM (MLLM)-as-Judge, which is rigorously guided by a fine-grained, per-task checklist to ensure holistic and reproducible scoring. We construct a new benchmark of 1,825 diverse tasks and evaluate over 30 leading LLMs. Our automated evaluation achieves a striking 94.4% ranking consistency with WebDev Arena, the gold-standard for human preference in web development, and over 90% pairwise agreement with human experts. This establishes ArtifactsBench as the first framework to reliably automate the assessment of human-perceived quality at scale. Our analysis provides a high-resolution map of the current SOTA, revealing that generalist models often outperform domain-specific ones. We open-source ArtifactsBench, including the benchmark, evaluation harness, and baseline results at https://artifactsbenchmark.github.io/, to provide the community with a scalable and accurate tool to accelerate the development of user-centric generative models.

ArtifactsBench: Het overbruggen van de visueel-interactieve kloof in de evaluatie van codegeneratie door grote taalmodellen

ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation

Samenvatting

Support