Переосмысление изучения разнообразных человеческих предпочтений через анализ главных компонент

Rethinking Diverse Human Preference Learning through Principal Component Analysis

February 18, 2025

Авторы: Feng Luo, Rui Yang, Hao Sun, Chunyuan Deng, Jiarui Yao, Jingyan Shen, Huan Zhang, Hanjie Chen

cs.AI

Аннотация

Понимание человеческих предпочтений имеет ключевое значение для улучшения базовых моделей и создания персонализированных ИИ-систем. Однако предпочтения по своей природе разнообразны и сложны, что затрудняет их полное охватывание традиционными моделями вознаграждения. Хотя детализированные данные о предпочтениях могут помочь, их сбор является дорогостоящим и сложным для масштабирования. В данной статье мы представляем Декомпозированные Модели Вознаграждения (DRMs) — новый подход, который извлекает разнообразные человеческие предпочтения из бинарных сравнений без необходимости в детализированных аннотациях. Наше ключевое наблюдение заключается в представлении человеческих предпочтений в виде векторов и их анализе с использованием метода главных компонент (PCA). Создавая набор данных из разностей эмбеддингов предпочитаемых и отвергнутых ответов, DRMs выявляют ортогональные базисные векторы, которые отражают различные аспекты предпочтений. Эти декомпозированные вознаграждения могут гибко комбинироваться для соответствия различным потребностям пользователей, предлагая интерпретируемую и масштабируемую альтернативу традиционным моделям вознаграждения. Мы демонстрируем, что DRMs эффективно извлекают значимые измерения предпочтений (например, полезность, безопасность, юмор) и адаптируются к новым пользователям без дополнительного обучения. Наши результаты подчеркивают DRMs как мощный фреймворк для персонализированного и интерпретируемого согласования языковых моделей.

English

Understanding human preferences is crucial for improving foundation models and building personalized AI systems. However, preferences are inherently diverse and complex, making it difficult for traditional reward models to capture their full range. While fine-grained preference data can help, collecting it is expensive and hard to scale. In this paper, we introduce Decomposed Reward Models (DRMs), a novel approach that extracts diverse human preferences from binary comparisons without requiring fine-grained annotations. Our key insight is to represent human preferences as vectors and analyze them using Principal Component Analysis (PCA). By constructing a dataset of embedding differences between preferred and rejected responses, DRMs identify orthogonal basis vectors that capture distinct aspects of preference. These decomposed rewards can be flexibly combined to align with different user needs, offering an interpretable and scalable alternative to traditional reward models. We demonstrate that DRMs effectively extract meaningful preference dimensions (e.g., helpfulness, safety, humor) and adapt to new users without additional training. Our results highlight DRMs as a powerful framework for personalized and interpretable LLM alignment.