GPT-4V(ision) is een mensgericht evaluatiesysteem voor tekst-naar-3D-generatie.

GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation

January 8, 2024

Auteurs: Tong Wu, Guandao Yang, Zhibing Li, Kai Zhang, Ziwei Liu, Leonidas Guibas, Dahua Lin, Gordon Wetzstein

cs.AI

Samenvatting

Ondanks recente vooruitgang in tekst-naar-3D-generatieve methoden, is er een opvallend gebrek aan betrouwbare evaluatiemetrics. Bestaande metrics richten zich meestal op één enkel criterium, zoals hoe goed het gegenereerde asset overeenkomt met de invoertekst. Deze metrics missen de flexibiliteit om zich aan te passen aan verschillende evaluatiecriteria en sluiten mogelijk niet goed aan bij menselijke voorkeuren. Het uitvoeren van gebruikersvoorkeurstudies is een alternatief dat zowel aanpasbaarheid als mensgerichte resultaten biedt. Gebruikersstudies kunnen echter zeer kostbaar zijn om op te schalen. Dit artikel presenteert een automatische, veelzijdige en mensgerichte evaluatiemetric voor tekst-naar-3D-generatieve modellen. Hiertoe ontwikkelen we eerst een promptgenerator met behulp van GPT-4V om evaluatieprompts te genereren, die dienen als invoer om tekst-naar-3D-modellen te vergelijken. Vervolgens ontwerpen we een methode die GPT-4V instrueert om twee 3D-assets te vergelijken volgens door de gebruiker gedefinieerde criteria. Ten slotte gebruiken we deze paarsgewijze vergelijkingsresultaten om deze modellen Elo-ratings toe te kennen. Experimentele resultaten suggereren dat onze metric sterk overeenkomt met menselijke voorkeuren over verschillende evaluatiecriteria.

English

Despite recent advances in text-to-3D generative methods, there is a notable absence of reliable evaluation metrics. Existing metrics usually focus on a single criterion each, such as how well the asset aligned with the input text. These metrics lack the flexibility to generalize to different evaluation criteria and might not align well with human preferences. Conducting user preference studies is an alternative that offers both adaptability and human-aligned results. User studies, however, can be very expensive to scale. This paper presents an automatic, versatile, and human-aligned evaluation metric for text-to-3D generative models. To this end, we first develop a prompt generator using GPT-4V to generate evaluating prompts, which serve as input to compare text-to-3D models. We further design a method instructing GPT-4V to compare two 3D assets according to user-defined criteria. Finally, we use these pairwise comparison results to assign these models Elo ratings. Experimental results suggest our metric strongly align with human preference across different evaluation criteria.