Масштабирование персонализированной оценки эстетики через настройку вектора задачи.

Scaling Up Personalized Aesthetic Assessment via Task Vector Customization

July 9, 2024

Авторы: Jooyeol Yun, Jaegul Choo

cs.AI

Аннотация

Задача персонализированной оценки эстетики изображений направлена на создание моделей прогнозирования оценок эстетики, соответствующих индивидуальным предпочтениям с помощью небольшого количества предоставленных пользователем входных данных. Однако масштабируемость и обобщающие возможности текущих подходов значительно ограничены из-за зависимости от дорогостоящей кураторской базы данных. Для преодоления этой давней проблемы масштабируемости мы представляем уникальный подход, который использует легко доступные базы данных для общей оценки эстетики изображений и оценки качества изображений. Конкретно, мы рассматриваем каждую базу данных как отдельную задачу регрессии оценки изображения, проявляющую различные уровни потенциала персонализации. Путем определения оптимальных комбинаций векторов задач, известных как представляющие определенные характеристики каждой базы данных, мы успешно создаем персонализированные модели для отдельных лиц. Этот подход интеграции нескольких моделей позволяет нам использовать значительное количество данных. Наши обширные эксперименты демонстрируют эффективность нашего подхода в обобщении на ранее не виденные области - задача, с которой предыдущие подходы боролись, что делает его крайне применимым к реальным сценариям. Наш новаторский подход значительно продвигает область, предлагая масштабируемые решения для персонализированной оценки эстетики и устанавливая высокие стандарты для будущих исследований.

English

The task of personalized image aesthetic assessment seeks to tailor aesthetic score prediction models to match individual preferences with just a few user-provided inputs. However, the scalability and generalization capabilities of current approaches are considerably restricted by their reliance on an expensive curated database. To overcome this long-standing scalability challenge, we present a unique approach that leverages readily available databases for general image aesthetic assessment and image quality assessment. Specifically, we view each database as a distinct image score regression task that exhibits varying degrees of personalization potential. By determining optimal combinations of task vectors, known to represent specific traits of each database, we successfully create personalized models for individuals. This approach of integrating multiple models allows us to harness a substantial amount of data. Our extensive experiments demonstrate the effectiveness of our approach in generalizing to previously unseen domains-a challenge previous approaches have struggled to achieve-making it highly applicable to real-world scenarios. Our novel approach significantly advances the field by offering scalable solutions for personalized aesthetic assessment and establishing high standards for future research. https://yeolj00.github.io/personal-projects/personalized-aesthetics/