HPSv3: Op weg naar een breedspectrum menselijke voorkeursscore

HPSv3: Towards Wide-Spectrum Human Preference Score

August 5, 2025

Auteurs: Yuhang Ma, Xiaoshi Wu, Keqiang Sun, Hongsheng Li

cs.AI

Samenvatting

Het evalueren van tekst-naar-beeldgeneratiemodellen vereist afstemming met de menselijke perceptie, maar bestaande mensgerichte metrieken worden beperkt door beperkte datadekking, suboptimale feature-extractie en inefficiënte verliesfuncties. Om deze uitdagingen aan te pakken, introduceren we Human Preference Score v3 (HPSv3). (1) We brengen HPDv3 uit, de eerste breedspectrum menselijke voorkeursdataset die 1,08 miljoen tekst-beeldparen en 1,17 miljoen geannoteerde paarsgewijze vergelijkingen integreert van state-of-the-art generatieve modellen en real-world beelden van lage tot hoge kwaliteit. (2) We introduceren een VLM-gebaseerd voorkeursmodel getraind met een onzekerheidsbewuste rangschikkingsverlies voor fijnmazige rangschikking. Daarnaast stellen we Chain-of-Human-Preference (CoHP) voor, een iteratieve beeldverfijningsmethode die de kwaliteit verbetert zonder extra data, door HPSv3 te gebruiken om het beste beeld in elke stap te selecteren. Uitgebreide experimenten tonen aan dat HPSv3 een robuuste metriek is voor breedspectrum beeldbeoordeling, en CoHP biedt een efficiënte en mensgerichte aanpak om de kwaliteit van beeldgeneratie te verbeteren. De code en dataset zijn beschikbaar op de HPSv3 Homepage.

English

Evaluating text-to-image generation models requires alignment with human perception, yet existing human-centric metrics are constrained by limited data coverage, suboptimal feature extraction, and inefficient loss functions. To address these challenges, we introduce Human Preference Score v3 (HPSv3). (1) We release HPDv3, the first wide-spectrum human preference dataset integrating 1.08M text-image pairs and 1.17M annotated pairwise comparisons from state-of-the-art generative models and low to high-quality real-world images. (2) We introduce a VLM-based preference model trained using an uncertainty-aware ranking loss for fine-grained ranking. Besides, we propose Chain-of-Human-Preference (CoHP), an iterative image refinement method that enhances quality without extra data, using HPSv3 to select the best image at each step. Extensive experiments demonstrate that HPSv3 serves as a robust metric for wide-spectrum image evaluation, and CoHP offers an efficient and human-aligned approach to improve image generation quality. The code and dataset are available at the HPSv3 Homepage.