ArtifactsBench: Überbrückung der visuell-interaktiven Lücke bei der Bewertung von LLM-Codegenerierung

Zusammenfassung

Die generativen Fähigkeiten von Large Language Models (LLMs) erweitern sich rasch von statischem Code zu dynamischen, interaktiven visuellen Artefakten. Dieser Fortschritt wird durch eine kritische Evaluationslücke behindert: etablierte Benchmarks konzentrieren sich auf algorithmische Korrektheit und sind blind gegenüber der visuellen Treue und interaktiven Integrität, die moderne Benutzererfahrungen definieren. Um diese Lücke zu schließen, führen wir ArtifactsBench ein, einen neuen Benchmark und ein Paradigma für die automatisierte, multimodale Bewertung der visuellen Codegenerierung. Unser Framework rendert jedes generierte Artefakt programmatisch und erfasst sein dynamisches Verhalten durch zeitliche Screenshots. Diese visuellen Beweise werden zusammen mit dem Quellcode von einem Multimodal LLM (MLLM)-as-Judge bewertet, der durch eine detaillierte, aufgabenbezogene Checkliste rigoros geleitet wird, um eine ganzheitliche und reproduzierbare Bewertung sicherzustellen. Wir konstruieren einen neuen Benchmark mit 1.825 vielfältigen Aufgaben und evaluieren über 30 führende LLMs. Unsere automatisierte Bewertung erreicht eine bemerkenswerte Rangfolgekonsistenz von 94,4 % mit WebDev Arena, dem Goldstandard für menschliche Präferenzen in der Webentwicklung, und eine paarweise Übereinstimmung von über 90 % mit menschlichen Experten. Dies etabliert ArtifactsBench als das erste Framework, das die Bewertung der vom Menschen wahrgenommenen Qualität in großem Maßstab zuverlässig automatisiert. Unsere Analyse liefert eine hochauflösende Karte des aktuellen State-of-the-Art (SOTA) und zeigt, dass Generalistenmodelle oft domänenspezifische Modelle übertreffen. Wir stellen ArtifactsBench, einschließlich des Benchmarks, des Evaluationsframeworks und der Baseline-Ergebnisse, unter https://artifactsbenchmark.github.io/ als Open Source zur Verfügung, um der Community ein skalierbares und präzises Werkzeug an die Hand zu geben, um die Entwicklung von benutzerzentrierten generativen Modellen zu beschleunigen.

English

The generative capabilities of Large Language Models (LLMs) are rapidly expanding from static code to dynamic, interactive visual artifacts. This progress is bottlenecked by a critical evaluation gap: established benchmarks focus on algorithmic correctness and are blind to the visual fidelity and interactive integrity that define modern user experiences. To bridge this gap, we introduce ArtifactsBench, a new benchmark and paradigm for the automated, multimodal evaluation of visual code generation. Our framework programmatically renders each generated artifact and captures its dynamic behavior through temporal screenshots. This visual evidence, alongside the source code, is then assessed by a Multimodal LLM (MLLM)-as-Judge, which is rigorously guided by a fine-grained, per-task checklist to ensure holistic and reproducible scoring. We construct a new benchmark of 1,825 diverse tasks and evaluate over 30 leading LLMs. Our automated evaluation achieves a striking 94.4% ranking consistency with WebDev Arena, the gold-standard for human preference in web development, and over 90% pairwise agreement with human experts. This establishes ArtifactsBench as the first framework to reliably automate the assessment of human-perceived quality at scale. Our analysis provides a high-resolution map of the current SOTA, revealing that generalist models often outperform domain-specific ones. We open-source ArtifactsBench, including the benchmark, evaluation harness, and baseline results at https://artifactsbenchmark.github.io/, to provide the community with a scalable and accurate tool to accelerate the development of user-centric generative models.

ArtifactsBench: Überbrückung der visuell-interaktiven Lücke bei der Bewertung von LLM-Codegenerierung

ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation

Zusammenfassung

Support