Neubewertung des Lernens vielfältiger menschlicher Präferenzen durch Hauptkomponentenanalyse

Rethinking Diverse Human Preference Learning through Principal Component Analysis

February 18, 2025

Autoren: Feng Luo, Rui Yang, Hao Sun, Chunyuan Deng, Jiarui Yao, Jingyan Shen, Huan Zhang, Hanjie Chen

cs.AI

Zusammenfassung

Das Verständnis menschlicher Präferenzen ist entscheidend für die Verbesserung von Basismodellen und den Aufbau personalisierter KI-Systeme. Allerdings sind Präferenzen von Natur aus vielfältig und komplex, was es traditionellen Belohnungsmodellen erschwert, ihre gesamte Bandbreite zu erfassen. Obwohl feingranulare Präferenzdaten hilfreich sein können, ist deren Erhebung kostspielig und schwer skalierbar. In diesem Artikel stellen wir Decomposed Reward Models (DRMs) vor, einen neuartigen Ansatz, der diverse menschliche Präferenzen aus binären Vergleichen extrahiert, ohne feingranulare Annotationen zu benötigen. Unser zentraler Ansatz besteht darin, menschliche Präferenzen als Vektoren darzustellen und sie mithilfe der Hauptkomponentenanalyse (PCA) zu analysieren. Durch die Konstruktion eines Datensatzes von Einbettungsdifferenzen zwischen bevorzugten und abgelehnten Antworten identifizieren DRMs orthogonale Basisvektoren, die unterschiedliche Aspekte von Präferenzen erfassen. Diese zerlegten Belohnungen können flexibel kombiniert werden, um unterschiedlichen Benutzerbedürfnissen gerecht zu werden, und bieten eine interpretierbare und skalierbare Alternative zu traditionellen Belohnungsmodellen. Wir zeigen, dass DRMs effektiv bedeutungsvolle Präferenzdimensionen (z.B. Hilfsbereitschaft, Sicherheit, Humor) extrahieren und sich ohne zusätzliches Training an neue Benutzer anpassen. Unsere Ergebnisse unterstreichen DRMs als leistungsstarkes Framework für die personalisierte und interpretierbare Ausrichtung von großen Sprachmodellen (LLMs).

English

Understanding human preferences is crucial for improving foundation models and building personalized AI systems. However, preferences are inherently diverse and complex, making it difficult for traditional reward models to capture their full range. While fine-grained preference data can help, collecting it is expensive and hard to scale. In this paper, we introduce Decomposed Reward Models (DRMs), a novel approach that extracts diverse human preferences from binary comparisons without requiring fine-grained annotations. Our key insight is to represent human preferences as vectors and analyze them using Principal Component Analysis (PCA). By constructing a dataset of embedding differences between preferred and rejected responses, DRMs identify orthogonal basis vectors that capture distinct aspects of preference. These decomposed rewards can be flexibly combined to align with different user needs, offering an interpretable and scalable alternative to traditional reward models. We demonstrate that DRMs effectively extract meaningful preference dimensions (e.g., helpfulness, safety, humor) and adapt to new users without additional training. Our results highlight DRMs as a powerful framework for personalized and interpretable LLM alignment.