Агент оценки: эффективная и масштабируемая рамка оценки для визуальных генеративных моделей

Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models

December 10, 2024

Авторы: Fan Zhang, Shulin Tian, Ziqi Huang, Yu Qiao, Ziwei Liu

cs.AI

Аннотация

Недавние достижения в области визуальных генеративных моделей позволили создавать изображения и видео высокого качества, открывая разнообразные применения. Однако оценка этих моделей часто требует выборки сотен или тысяч изображений или видео, что делает процесс вычислительно затратным, особенно для моделей на основе диффузии с врожденно медленной выборкой. Более того, существующие методы оценки полагаются на жесткие конвейеры, которые не учитывают конкретные потребности пользователей и предоставляют числовые результаты без ясных объяснений. В отличие от этого, люди могут быстро сформировать представление о возможностях модели, наблюдая всего несколько образцов. Для имитации этого мы предлагаем рамочное решение Evaluation Agent, которое использует стратегии, подобные человеческим, для эффективной, динамичной, многоходовой оценки, используя всего несколько образцов за раунд, предлагая при этом детальные, настроенные на пользователя анализы. Оно предлагает четыре ключевых преимущества: 1) эффективность, 2) немедленную оценку, адаптированную к различным потребностям пользователей, 3) объяснимость за пределами одиночных числовых оценок и 4) масштабируемость для различных моделей и инструментов. Эксперименты показывают, что Evaluation Agent сокращает время оценки до 10% от традиционных методов, предоставляя сравнимые результаты. Рамочное решение Evaluation Agent полностью открытое для продвижения исследований в области визуальных генеративных моделей и их эффективной оценки.

English

Recent advancements in visual generative models have enabled high-quality image and video generation, opening diverse applications. However, evaluating these models often demands sampling hundreds or thousands of images or videos, making the process computationally expensive, especially for diffusion-based models with inherently slow sampling. Moreover, existing evaluation methods rely on rigid pipelines that overlook specific user needs and provide numerical results without clear explanations. In contrast, humans can quickly form impressions of a model's capabilities by observing only a few samples. To mimic this, we propose the Evaluation Agent framework, which employs human-like strategies for efficient, dynamic, multi-round evaluations using only a few samples per round, while offering detailed, user-tailored analyses. It offers four key advantages: 1) efficiency, 2) promptable evaluation tailored to diverse user needs, 3) explainability beyond single numerical scores, and 4) scalability across various models and tools. Experiments show that Evaluation Agent reduces evaluation time to 10% of traditional methods while delivering comparable results. The Evaluation Agent framework is fully open-sourced to advance research in visual generative models and their efficient evaluation.