Bewertungsagent: Effizientes und anpassbares Bewertungsrahmenwerk für visuelle generative Modelle

Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models

December 10, 2024

Autoren: Fan Zhang, Shulin Tian, Ziqi Huang, Yu Qiao, Ziwei Liu

cs.AI

Zusammenfassung

Jüngste Fortschritte bei visuellen generativen Modellen haben hochwertige Bild- und Videoerzeugung ermöglicht und verschiedene Anwendungen eröffnet. Die Bewertung dieser Modelle erfordert jedoch oft das Samplen von Hunderten oder Tausenden von Bildern oder Videos, was den Prozess rechnerisch aufwendig macht, insbesondere für Diffusions-basierte Modelle mit von Natur aus langsamer Abtastung. Darüber hinaus stützen sich bestehende Bewertungsmethoden auf starre Abläufe, die spezifische Benutzeranforderungen übersehen und numerische Ergebnisse ohne klare Erklärungen liefern. Im Gegensatz dazu können Menschen schnell Eindrücke von den Fähigkeiten eines Modells gewinnen, indem sie nur wenige Beispiele betrachten. Um dies nachzuahmen, schlagen wir das Evaluation Agent Framework vor, das menschenähnliche Strategien für effiziente, dynamische, mehrstufige Bewertungen unter Verwendung nur weniger Beispiele pro Runde einsetzt und dabei detaillierte, auf den Benutzer zugeschnittene Analysen bietet. Es bietet vier Hauptvorteile: 1) Effizienz, 2) anpassbare Bewertung, die auf vielfältige Benutzeranforderungen zugeschnitten ist, 3) Erklärbarkeit über einzelne numerische Werte hinaus und 4) Skalierbarkeit über verschiedene Modelle und Tools hinweg. Experimente zeigen, dass das Evaluation Agent Framework die Bewertungszeit im Vergleich zu traditionellen Methoden auf 10% reduziert, während vergleichbare Ergebnisse erzielt werden. Das Evaluation Agent Framework ist vollständig Open Source, um die Forschung in visuellen generativen Modellen und ihrer effizienten Bewertung voranzutreiben.

English

Recent advancements in visual generative models have enabled high-quality image and video generation, opening diverse applications. However, evaluating these models often demands sampling hundreds or thousands of images or videos, making the process computationally expensive, especially for diffusion-based models with inherently slow sampling. Moreover, existing evaluation methods rely on rigid pipelines that overlook specific user needs and provide numerical results without clear explanations. In contrast, humans can quickly form impressions of a model's capabilities by observing only a few samples. To mimic this, we propose the Evaluation Agent framework, which employs human-like strategies for efficient, dynamic, multi-round evaluations using only a few samples per round, while offering detailed, user-tailored analyses. It offers four key advantages: 1) efficiency, 2) promptable evaluation tailored to diverse user needs, 3) explainability beyond single numerical scores, and 4) scalability across various models and tools. Experiments show that Evaluation Agent reduces evaluation time to 10% of traditional methods while delivering comparable results. The Evaluation Agent framework is fully open-sourced to advance research in visual generative models and their efficient evaluation.