Ripensare l'Apprendimento delle Preferenze Umane Diversificate attraverso l'Analisi delle Componenti Principali

Rethinking Diverse Human Preference Learning through Principal Component Analysis

February 18, 2025

Autori: Feng Luo, Rui Yang, Hao Sun, Chunyuan Deng, Jiarui Yao, Jingyan Shen, Huan Zhang, Hanjie Chen

cs.AI

Abstract

Comprendere le preferenze umane è cruciale per migliorare i modelli di base e costruire sistemi di IA personalizzati. Tuttavia, le preferenze sono intrinsecamente diverse e complesse, rendendo difficile per i tradizionali modelli di ricompensa catturarne l'intera gamma. Sebbene i dati dettagliati sulle preferenze possano essere utili, raccoglierli è costoso e difficile da scalare. In questo articolo, introduciamo i Modelli di Ricompensa Decomposti (DRM), un approccio innovativo che estrae diverse preferenze umane da confronti binari senza richiedere annotazioni dettagliate. La nostra intuizione chiave è rappresentare le preferenze umane come vettori e analizzarle utilizzando l'Analisi delle Componenti Principali (PCA). Costruendo un dataset di differenze di embedding tra risposte preferite e rifiutate, i DRM identificano vettori di base ortogonali che catturano aspetti distinti delle preferenze. Queste ricompense decomposte possono essere combinate in modo flessibile per allinearsi a diverse esigenze degli utenti, offrendo un'alternativa interpretabile e scalabile ai tradizionali modelli di ricompensa. Dimostriamo che i DRM estraggono efficacemente dimensioni significative delle preferenze (ad esempio, utilità, sicurezza, umorismo) e si adattano a nuovi utenti senza ulteriore addestramento. I nostri risultati evidenziano i DRM come un potente framework per l'allineamento personalizzato e interpretabile dei modelli linguistici di grandi dimensioni (LLM).

English

Understanding human preferences is crucial for improving foundation models and building personalized AI systems. However, preferences are inherently diverse and complex, making it difficult for traditional reward models to capture their full range. While fine-grained preference data can help, collecting it is expensive and hard to scale. In this paper, we introduce Decomposed Reward Models (DRMs), a novel approach that extracts diverse human preferences from binary comparisons without requiring fine-grained annotations. Our key insight is to represent human preferences as vectors and analyze them using Principal Component Analysis (PCA). By constructing a dataset of embedding differences between preferred and rejected responses, DRMs identify orthogonal basis vectors that capture distinct aspects of preference. These decomposed rewards can be flexibly combined to align with different user needs, offering an interpretable and scalable alternative to traditional reward models. We demonstrate that DRMs effectively extract meaningful preference dimensions (e.g., helpfulness, safety, humor) and adapt to new users without additional training. Our results highlight DRMs as a powerful framework for personalized and interpretable LLM alignment.