Agente de Avaliação: Estrutura de Avaliação Eficiente e Acionável para Modelos Generativos Visuais

Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models

December 10, 2024

Autores: Fan Zhang, Shulin Tian, Ziqi Huang, Yu Qiao, Ziwei Liu

cs.AI

Resumo

Os avanços recentes em modelos generativos visuais possibilitaram a geração de imagens e vídeos de alta qualidade, abrindo diversas aplicações. No entanto, avaliar esses modelos frequentemente exige a amostragem de centenas ou milhares de imagens ou vídeos, tornando o processo computacionalmente caro, especialmente para modelos baseados em difusão com amostragem naturalmente lenta. Além disso, os métodos de avaliação existentes dependem de pipelines rígidos que ignoram necessidades específicas do usuário e fornecem resultados numéricos sem explicações claras. Em contraste, os humanos podem rapidamente formar impressões sobre as capacidades de um modelo observando apenas algumas amostras. Para imitar isso, propomos o framework Agente de Avaliação, que emprega estratégias semelhantes às humanas para avaliações eficientes, dinâmicas e multi-rodadas usando apenas algumas amostras por rodada, ao mesmo tempo que oferece análises detalhadas e personalizadas para o usuário. Ele oferece quatro principais vantagens: 1) eficiência, 2) avaliação adaptável às diversas necessidades do usuário, 3) explicabilidade além de pontuações numéricas únicas e 4) escalabilidade entre vários modelos e ferramentas. Experimentos mostram que o Agente de Avaliação reduz o tempo de avaliação para 10% dos métodos tradicionais, entregando resultados comparáveis. O framework Agente de Avaliação é totalmente de código aberto para avançar a pesquisa em modelos generativos visuais e sua avaliação eficiente.

English

Recent advancements in visual generative models have enabled high-quality image and video generation, opening diverse applications. However, evaluating these models often demands sampling hundreds or thousands of images or videos, making the process computationally expensive, especially for diffusion-based models with inherently slow sampling. Moreover, existing evaluation methods rely on rigid pipelines that overlook specific user needs and provide numerical results without clear explanations. In contrast, humans can quickly form impressions of a model's capabilities by observing only a few samples. To mimic this, we propose the Evaluation Agent framework, which employs human-like strategies for efficient, dynamic, multi-round evaluations using only a few samples per round, while offering detailed, user-tailored analyses. It offers four key advantages: 1) efficiency, 2) promptable evaluation tailored to diverse user needs, 3) explainability beyond single numerical scores, and 4) scalability across various models and tools. Experiments show that Evaluation Agent reduces evaluation time to 10% of traditional methods while delivering comparable results. The Evaluation Agent framework is fully open-sourced to advance research in visual generative models and their efficient evaluation.