Scalabilità della Valutazione Estetica Personalizzata tramite Personalizzazione del Vettore di Task

Scaling Up Personalized Aesthetic Assessment via Task Vector Customization

July 9, 2024

Autori: Jooyeol Yun, Jaegul Choo

cs.AI

Abstract

Il compito della valutazione estetica personalizzata delle immagini mira ad adattare i modelli di previsione del punteggio estetico per corrispondere alle preferenze individuali con pochi input forniti dall'utente. Tuttavia, la scalabilità e le capacità di generalizzazione degli approcci attuali sono notevolmente limitate dalla loro dipendenza da un database curato e costoso. Per superare questa sfida di scalabilità di lunga data, presentiamo un approccio unico che sfrutta database facilmente disponibili per la valutazione estetica generale delle immagini e la valutazione della qualità delle immagini. Nello specifico, consideriamo ogni database come un distinto compito di regressione del punteggio delle immagini che mostra diversi gradi di potenziale di personalizzazione. Determinando combinazioni ottimali di vettori di compito, noti per rappresentare tratti specifici di ciascun database, creiamo con successo modelli personalizzati per gli individui. Questo approccio di integrazione di più modelli ci consente di sfruttare una quantità sostanziale di dati. I nostri ampi esperimenti dimostrano l'efficacia del nostro approccio nel generalizzare a domini precedentemente non visti—una sfida che gli approcci precedenti hanno faticato a raggiungere—rendendolo altamente applicabile a scenari reali. Il nostro approccio innovativo avanza significativamente il campo offrendo soluzioni scalabili per la valutazione estetica personalizzata e stabilendo standard elevati per la ricerca futura. https://yeolj00.github.io/personal-projects/personalized-aesthetics/

English

The task of personalized image aesthetic assessment seeks to tailor aesthetic score prediction models to match individual preferences with just a few user-provided inputs. However, the scalability and generalization capabilities of current approaches are considerably restricted by their reliance on an expensive curated database. To overcome this long-standing scalability challenge, we present a unique approach that leverages readily available databases for general image aesthetic assessment and image quality assessment. Specifically, we view each database as a distinct image score regression task that exhibits varying degrees of personalization potential. By determining optimal combinations of task vectors, known to represent specific traits of each database, we successfully create personalized models for individuals. This approach of integrating multiple models allows us to harness a substantial amount of data. Our extensive experiments demonstrate the effectiveness of our approach in generalizing to previously unseen domains-a challenge previous approaches have struggled to achieve-making it highly applicable to real-world scenarios. Our novel approach significantly advances the field by offering scalable solutions for personalized aesthetic assessment and establishing high standards for future research. https://yeolj00.github.io/personal-projects/personalized-aesthetics/