ArtifactsBench : Combler le fossé visuel-interactif dans l'évaluation de la génération de code par les LLM

Résumé

Les capacités génératives des modèles de langage à grande échelle (LLMs) évoluent rapidement, passant de la génération de code statique à la création d'artefacts visuels dynamiques et interactifs. Cette progression est cependant freinée par un déficit critique en matière d'évaluation : les benchmarks établis se concentrent sur la correction algorithmique et ignorent la fidélité visuelle et l'intégrité interactive qui définissent les expériences utilisateur modernes. Pour combler cette lacune, nous introduisons ArtifactsBench, un nouveau benchmark et paradigme pour l'évaluation automatisée et multimodale de la génération de code visuel. Notre framework rend programmatiquement chaque artefact généré et capture son comportement dynamique via des captures d'écran temporelles. Ces preuves visuelles, ainsi que le code source, sont ensuite évaluées par un modèle de langage multimodal (MLLM)-as-Judge, guidé de manière rigoureuse par une checklist détaillée et spécifique à chaque tâche, afin d'assurer une notation holistique et reproductible. Nous construisons un nouveau benchmark composé de 1 825 tâches variées et évaluons plus de 30 LLMs leaders. Notre évaluation automatisée atteint une remarquable cohérence de classement de 94,4 % avec WebDev Arena, la référence en matière de préférence humaine dans le développement web, et un accord par paire de plus de 90 % avec des experts humains. Cela établit ArtifactsBench comme le premier framework à automatiser de manière fiable l'évaluation de la qualité perçue par l'humain à grande échelle. Notre analyse fournit une cartographie haute résolution de l'état de l'art actuel, révélant que les modèles généralistes surpassent souvent ceux spécialisés dans un domaine. Nous mettons ArtifactsBench en open source, incluant le benchmark, le système d'évaluation et les résultats de référence sur https://artifactsbenchmark.github.io/, afin de fournir à la communauté un outil scalable et précis pour accélérer le développement de modèles génératifs centrés sur l'utilisateur.

English

The generative capabilities of Large Language Models (LLMs) are rapidly expanding from static code to dynamic, interactive visual artifacts. This progress is bottlenecked by a critical evaluation gap: established benchmarks focus on algorithmic correctness and are blind to the visual fidelity and interactive integrity that define modern user experiences. To bridge this gap, we introduce ArtifactsBench, a new benchmark and paradigm for the automated, multimodal evaluation of visual code generation. Our framework programmatically renders each generated artifact and captures its dynamic behavior through temporal screenshots. This visual evidence, alongside the source code, is then assessed by a Multimodal LLM (MLLM)-as-Judge, which is rigorously guided by a fine-grained, per-task checklist to ensure holistic and reproducible scoring. We construct a new benchmark of 1,825 diverse tasks and evaluate over 30 leading LLMs. Our automated evaluation achieves a striking 94.4% ranking consistency with WebDev Arena, the gold-standard for human preference in web development, and over 90% pairwise agreement with human experts. This establishes ArtifactsBench as the first framework to reliably automate the assessment of human-perceived quality at scale. Our analysis provides a high-resolution map of the current SOTA, revealing that generalist models often outperform domain-specific ones. We open-source ArtifactsBench, including the benchmark, evaluation harness, and baseline results at https://artifactsbenchmark.github.io/, to provide the community with a scalable and accurate tool to accelerate the development of user-centric generative models.

ArtifactsBench : Combler le fossé visuel-interactif dans l'évaluation de la génération de code par les LLM

ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation

Résumé

Support