Mise à l'échelle de l'évaluation esthétique personnalisée via la personnalisation des vecteurs de tâche
Scaling Up Personalized Aesthetic Assessment via Task Vector Customization
July 9, 2024
papers.authors: Jooyeol Yun, Jaegul Choo
cs.AI
papers.abstract
La tâche d'évaluation esthétique d'images personnalisée vise à adapter les modèles de prédiction de scores esthétiques pour correspondre aux préférences individuelles avec seulement quelques entrées fournies par l'utilisateur. Cependant, l'évolutivité et les capacités de généralisation des approches actuelles sont considérablement limitées par leur dépendance à une base de données coûteuse et soigneusement sélectionnée. Pour surmonter ce défi d'évolutivité de longue date, nous présentons une approche unique qui exploite des bases de données facilement accessibles pour l'évaluation esthétique générale des images et l'évaluation de la qualité des images. Plus précisément, nous considérons chaque base de données comme une tâche distincte de régression de scores d'images présentant des degrés variables de potentiel de personnalisation. En déterminant des combinaisons optimales de vecteurs de tâches, connus pour représenter des traits spécifiques de chaque base de données, nous créons avec succès des modèles personnalisés pour les individus. Cette approche d'intégration de multiples modèles nous permet d'exploiter une quantité substantielle de données. Nos expériences approfondies démontrent l'efficacité de notre approche pour généraliser à des domaines précédemment inexplorés - un défi que les approches précédentes ont eu du mal à relever - la rendant hautement applicable à des scénarios réels. Notre approche novatrice fait progresser de manière significative le domaine en offrant des solutions évolutives pour l'évaluation esthétique personnalisée et en établissant des normes élevées pour les recherches futures.
https://yeolj00.github.io/personal-projects/personalized-aesthetics/
English
The task of personalized image aesthetic assessment seeks to tailor aesthetic
score prediction models to match individual preferences with just a few
user-provided inputs. However, the scalability and generalization capabilities
of current approaches are considerably restricted by their reliance on an
expensive curated database. To overcome this long-standing scalability
challenge, we present a unique approach that leverages readily available
databases for general image aesthetic assessment and image quality assessment.
Specifically, we view each database as a distinct image score regression task
that exhibits varying degrees of personalization potential. By determining
optimal combinations of task vectors, known to represent specific traits of
each database, we successfully create personalized models for individuals. This
approach of integrating multiple models allows us to harness a substantial
amount of data. Our extensive experiments demonstrate the effectiveness of our
approach in generalizing to previously unseen domains-a challenge previous
approaches have struggled to achieve-making it highly applicable to real-world
scenarios. Our novel approach significantly advances the field by offering
scalable solutions for personalized aesthetic assessment and establishing high
standards for future research.
https://yeolj00.github.io/personal-projects/personalized-aesthetics/