Het Opschalen van Gepersonaliseerde Esthetische Beoordeling via Taakvector Aanpassing

Scaling Up Personalized Aesthetic Assessment via Task Vector Customization

July 9, 2024

Auteurs: Jooyeol Yun, Jaegul Choo

cs.AI

Samenvatting

De taak van gepersonaliseerde beeldesthetische beoordeling heeft als doel esthetische scorevoorspellingsmodellen af te stemmen op individuele voorkeuren met slechts enkele door de gebruiker verstrekte invoeren. De schaalbaarheid en generalisatiemogelijkheden van huidige benaderingen worden echter aanzienlijk beperkt door hun afhankelijkheid van een kostbare, gecureerde database. Om deze lang bestaande schaalbaarheidsuitdaging te overwinnen, presenteren we een unieke benadering die gebruikmaakt van gemakkelijk beschikbare databases voor algemene beeldesthetische beoordeling en beeldkwaliteitsbeoordeling. Specifiek beschouwen we elke database als een afzonderlijke beeldscore-regressietaak die verschillende niveaus van personalisatiepotentieel vertoont. Door optimale combinaties van taakvectoren te bepalen, die specifieke eigenschappen van elke database vertegenwoordigen, creëren we met succes gepersonaliseerde modellen voor individuen. Deze benadering van het integreren van meerdere modellen stelt ons in staat om een aanzienlijke hoeveelheid data te benutten. Onze uitgebreide experimenten tonen de effectiviteit van onze benadering aan in het generaliseren naar voorheen onbekende domeinen—een uitdaging waar eerdere benaderingen moeite mee hadden—wat het zeer toepasbaar maakt in real-world scenario's. Onze nieuwe benadering betekent een belangrijke vooruitgang in het veld door schaalbare oplossingen te bieden voor gepersonaliseerde esthetische beoordeling en hoge standaarden te stellen voor toekomstig onderzoek. https://yeolj00.github.io/personal-projects/personalized-aesthetics/

English

The task of personalized image aesthetic assessment seeks to tailor aesthetic score prediction models to match individual preferences with just a few user-provided inputs. However, the scalability and generalization capabilities of current approaches are considerably restricted by their reliance on an expensive curated database. To overcome this long-standing scalability challenge, we present a unique approach that leverages readily available databases for general image aesthetic assessment and image quality assessment. Specifically, we view each database as a distinct image score regression task that exhibits varying degrees of personalization potential. By determining optimal combinations of task vectors, known to represent specific traits of each database, we successfully create personalized models for individuals. This approach of integrating multiple models allows us to harness a substantial amount of data. Our extensive experiments demonstrate the effectiveness of our approach in generalizing to previously unseen domains-a challenge previous approaches have struggled to achieve-making it highly applicable to real-world scenarios. Our novel approach significantly advances the field by offering scalable solutions for personalized aesthetic assessment and establishing high standards for future research. https://yeolj00.github.io/personal-projects/personalized-aesthetics/