GPT-4V(ision) è un valutatore allineato all'umano per la generazione da testo a 3D.

GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation

January 8, 2024

Autori: Tong Wu, Guandao Yang, Zhibing Li, Kai Zhang, Ziwei Liu, Leonidas Guibas, Dahua Lin, Gordon Wetzstein

cs.AI

Abstract

Nonostante i recenti progressi nei metodi generativi da testo a 3D, si osserva una notevole assenza di metriche di valutazione affidabili. Le metriche esistenti si concentrano solitamente su un singolo criterio, come quanto bene l'asset sia allineato con il testo di input. Queste metriche mancano della flessibilità necessaria per generalizzare a diversi criteri di valutazione e potrebbero non allinearsi bene con le preferenze umane. Condurre studi sulle preferenze degli utenti rappresenta un'alternativa che offre sia adattabilità sia risultati allineati con le preferenze umane. Tuttavia, gli studi sugli utenti possono essere molto costosi da scalare. Questo articolo presenta una metrica di valutazione automatica, versatile e allineata con le preferenze umane per i modelli generativi da testo a 3D. A tal fine, sviluppiamo innanzitutto un generatore di prompt utilizzando GPT-4V per generare prompt di valutazione, che servono come input per confrontare i modelli da testo a 3D. Progettiamo inoltre un metodo che istruisce GPT-4V a confrontare due asset 3D secondo criteri definiti dall'utente. Infine, utilizziamo i risultati di questi confronti a coppie per assegnare a questi modelli valutazioni Elo. I risultati sperimentali suggeriscono che la nostra metrica si allinea fortemente con le preferenze umane attraverso diversi criteri di valutazione.

English

Despite recent advances in text-to-3D generative methods, there is a notable absence of reliable evaluation metrics. Existing metrics usually focus on a single criterion each, such as how well the asset aligned with the input text. These metrics lack the flexibility to generalize to different evaluation criteria and might not align well with human preferences. Conducting user preference studies is an alternative that offers both adaptability and human-aligned results. User studies, however, can be very expensive to scale. This paper presents an automatic, versatile, and human-aligned evaluation metric for text-to-3D generative models. To this end, we first develop a prompt generator using GPT-4V to generate evaluating prompts, which serve as input to compare text-to-3D models. We further design a method instructing GPT-4V to compare two 3D assets according to user-defined criteria. Finally, we use these pairwise comparison results to assign these models Elo ratings. Experimental results suggest our metric strongly align with human preference across different evaluation criteria.