ArtifactsBench: Reduzindo a Lacuna Visual-Interativa na Avaliação de Geração de Código por LLMs

ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation

July 7, 2025

Autores: Chenchen Zhang, Yuhang Li, Can Xu, Jiaheng Liu, Ao Liu, Shihui Hu, Dengpeng Wu, Guanhua Huang, Kejiao Li, Qi Yi, Ruibin Xiong, Haotian Zhu, Yuanxing Zhang, Yuhao Jiang, Yue Zhang, Zenan Xu, Bohui Zhai, Guoxiang He, Hebin Li, Jie Zhao, Le Zhang, Lingyun Tan, Pengyu Guo, Xianshu Pang, Yang Ruan, Zhifeng Zhang, Zhonghu Wang, Ziyan Xu, Zuopu Yin, Wiggin Zhou, Chayse Zhou, Fengzong Lian

cs.AI

Resumo

As capacidades gerativas dos Modelos de Linguagem de Grande Escala (LLMs) estão se expandindo rapidamente de código estático para artefatos visuais dinâmicos e interativos. Esse progresso é limitado por uma lacuna crítica de avaliação: os benchmarks estabelecidos focam na correção algorítmica e são cegos para a fidelidade visual e a integridade interativa que definem as experiências de usuário modernas. Para preencher essa lacuna, introduzimos o ArtifactsBench, um novo benchmark e paradigma para a avaliação automatizada e multimodal da geração de código visual. Nosso framework renderiza programaticamente cada artefato gerado e captura seu comportamento dinâmico por meio de capturas de tela temporais. Essa evidência visual, juntamente com o código-fonte, é então avaliada por um Modelo de Linguagem Multimodal (MLLM)-como-Juiz, que é rigorosamente guiado por uma lista de verificação detalhada e específica para cada tarefa, garantindo uma pontuação holística e reproduzível. Construímos um novo benchmark com 1.825 tarefas diversas e avaliamos mais de 30 LLMs líderes. Nossa avaliação automatizada alcança uma impressionante consistência de 94,4% com o WebDev Arena, o padrão ouro para preferência humana em desenvolvimento web, e mais de 90% de concordância pareada com especialistas humanos. Isso estabelece o ArtifactsBench como o primeiro framework a automatizar de forma confiável a avaliação da qualidade percebida por humanos em escala. Nossa análise fornece um mapa de alta resolução do estado da arte atual, revelando que modelos generalistas frequentemente superam os específicos de domínio. Disponibilizamos o ArtifactsBench como código aberto, incluindo o benchmark, o sistema de avaliação e os resultados de linha de base em https://artifactsbenchmark.github.io/, para fornecer à comunidade uma ferramenta escalável e precisa para acelerar o desenvolvimento de modelos generativos centrados no usuário.

English

The generative capabilities of Large Language Models (LLMs) are rapidly expanding from static code to dynamic, interactive visual artifacts. This progress is bottlenecked by a critical evaluation gap: established benchmarks focus on algorithmic correctness and are blind to the visual fidelity and interactive integrity that define modern user experiences. To bridge this gap, we introduce ArtifactsBench, a new benchmark and paradigm for the automated, multimodal evaluation of visual code generation. Our framework programmatically renders each generated artifact and captures its dynamic behavior through temporal screenshots. This visual evidence, alongside the source code, is then assessed by a Multimodal LLM (MLLM)-as-Judge, which is rigorously guided by a fine-grained, per-task checklist to ensure holistic and reproducible scoring. We construct a new benchmark of 1,825 diverse tasks and evaluate over 30 leading LLMs. Our automated evaluation achieves a striking 94.4% ranking consistency with WebDev Arena, the gold-standard for human preference in web development, and over 90% pairwise agreement with human experts. This establishes ArtifactsBench as the first framework to reliably automate the assessment of human-perceived quality at scale. Our analysis provides a high-resolution map of the current SOTA, revealing that generalist models often outperform domain-specific ones. We open-source ArtifactsBench, including the benchmark, evaluation harness, and baseline results at https://artifactsbenchmark.github.io/, to provide the community with a scalable and accurate tool to accelerate the development of user-centric generative models.