Benchmark d'esthétique visuelle : les modèles de pointe peuvent-ils juger la beauté ?

Résumé

Les modèles de langage multimodaux (MLLMs) sont désormais couramment déployés pour la compréhension, la génération et la curation visuelles. Une fraction substantielle de ces applications nécessite un jugement esthétique explicite. La plupart des solutions existantes réduisent ce jugement à la prédiction d’un score scalaire pour une image unique. Nous nous demandons d’abord si de tels scores reflètent fidèlement les préférences comparatives : dans une étude contrôlée impliquant huit annotateurs experts, les classements dérivés des scores s’alignent mal avec les comparaisons directes des mêmes annotateurs, tandis que le classement direct produit un accord inter-annotateurs nettement plus élevé sur les étiquettes de meilleure et de pire image. Motivés par ce constat, nous introduisons le Visual Aesthetic Benchmark (VAB), qui conçoit l’évaluation esthétique comme une sélection comparative sur des ensembles candidats dont le sujet est apparié. VAB contient 400 tâches et 1 195 images couvrant les beaux-arts, la photographie et l’illustration, avec des étiquettes issues du consensus de 10 juges experts indépendants par tâche. En évaluant 20 MLLMs de pointe et six modèles de récompense de qualité visuelle dédiés, nous constatons que le système le plus performant identifie correctement à la fois la meilleure et la pire image dans seulement 26,5 % des tâches, bien en deçà des 68,9 % atteints par les experts humains. Le réglage fin d’un modèle de 35 milliards de paramètres sur 2 000 exemples experts rapproche sa précision de celle d’un modèle à poids ouverts de 397 milliards de paramètres, suggérant que le signal comparatif présent dans VAB est transférable. Ensemble, ces résultats révèlent un écart clair et mesurable entre les modèles multimodaux actuels et le jugement esthétique expert, et VAB fournit le premier banc d’essai basé sur des ensembles et ancré dans l’expertise humaine sur lequel cet écart peut être suivi et comblé.

English

Multimodal large language models (MLLMs) are now routinely deployed for visual understanding, generation, and curation. A substantial fraction of these applications require an explicit aesthetic judgment. Most existing solutions reduce this judgment to predicting a scalar score for a single image. We first ask whether such scores faithfully capture comparative preference: in a controlled study with eight expert annotators, score-derived rankings align poorly with the same annotators' direct comparisons, while direct ranking yields substantially higher inter-annotator agreement on best- and worst-image labels. Motivated by this finding, we introduce the Visual Aesthetic Benchmark (VAB), which casts aesthetic evaluation as comparative selection over candidate sets with matched subject matter. VAB contains 400 tasks and 1,195 images across fine art, photography, and illustration, with labels derived from the consensus of 10 independent expert judges per task. Evaluating 20 frontier MLLMs and six dedicated visual-quality reward models, we find that the strongest system identifies both the best and the worst image correctly across three random permutations of the candidate order in only 26.5% of tasks, far below the 68.9% achieved by human experts. Fine-tuning a 35B-parameter model on 2,000 expert examples brings its accuracy close to that of a 397B-parameter open-weight model, suggesting that the comparative signal in VAB is transferable. Together, these results expose a clear and measurable gap between current multimodal models and expert aesthetic judgment, and VAB provides the first set-based, expert-grounded testbed on which that gap can be tracked and closed.