Ampliando a Avaliação Estética Personalizada através da Personalização do Vetor de Tarefa

Scaling Up Personalized Aesthetic Assessment via Task Vector Customization

July 9, 2024

Autores: Jooyeol Yun, Jaegul Choo

cs.AI

Resumo

A tarefa de avaliação estética de imagem personalizada busca adaptar modelos de previsão de pontuação estética para corresponder às preferências individuais com apenas algumas entradas fornecidas pelo usuário. No entanto, a escalabilidade e capacidades de generalização das abordagens atuais são consideravelmente restritas pela dependência de um banco de dados curado caro. Para superar esse desafio de escalabilidade de longa data, apresentamos uma abordagem única que aproveita bancos de dados prontamente disponíveis para avaliação estética de imagem geral e avaliação de qualidade de imagem. Especificamente, consideramos cada banco de dados como uma tarefa de regressão de pontuação de imagem distinta que exibe diferentes graus de potencial de personalização. Ao determinar combinações ótimas de vetores de tarefa, conhecidos por representar traços específicos de cada banco de dados, criamos com sucesso modelos personalizados para indivíduos. Esta abordagem de integração de múltiplos modelos nos permite aproveitar uma quantidade substancial de dados. Nossos experimentos extensivos demonstram a eficácia de nossa abordagem na generalização para domínios previamente não vistos - um desafio que abordagens anteriores têm lutado para alcançar - tornando-a altamente aplicável a cenários do mundo real. Nossa abordagem inovadora avança significativamente o campo ao oferecer soluções escaláveis para avaliação estética personalizada e estabelecer altos padrões para pesquisas futuras.

English

The task of personalized image aesthetic assessment seeks to tailor aesthetic score prediction models to match individual preferences with just a few user-provided inputs. However, the scalability and generalization capabilities of current approaches are considerably restricted by their reliance on an expensive curated database. To overcome this long-standing scalability challenge, we present a unique approach that leverages readily available databases for general image aesthetic assessment and image quality assessment. Specifically, we view each database as a distinct image score regression task that exhibits varying degrees of personalization potential. By determining optimal combinations of task vectors, known to represent specific traits of each database, we successfully create personalized models for individuals. This approach of integrating multiple models allows us to harness a substantial amount of data. Our extensive experiments demonstrate the effectiveness of our approach in generalizing to previously unseen domains-a challenge previous approaches have struggled to achieve-making it highly applicable to real-world scenarios. Our novel approach significantly advances the field by offering scalable solutions for personalized aesthetic assessment and establishing high standards for future research. https://yeolj00.github.io/personal-projects/personalized-aesthetics/