Один адаптируется ко всем: мета-моделирование вознаграждения для персонализированного согласования больших языковых моделей

One Adapts to Any: Meta Reward Modeling for Personalized LLM Alignment

January 26, 2026

Авторы: Hongru Cai, Yongqi Li, Tiezheng Yu, Fengbin Zhu, Wenjie Wang, Fuli Feng, Wenjie Li

cs.AI

Аннотация

Выравнивание больших языковых моделей (LLM) направлено на согласование их выходных данных с человеческими предпочтениями, а персонализированное выравнивание дополнительно адаптирует модели под индивидуальных пользователей. Это основано на персонализированных моделях вознаграждения, которые фиксируют специфичные для пользователя предпочтения и автоматически предоставляют индивидуализированную обратную связь. Однако разработка таких моделей сталкивается с двумя ключевыми проблемами: недостатком обратной связи от отдельных пользователей и необходимостью эффективной адаптации к новым, незнакомым пользователям. Мы полагаем, что для решения этих ограничений необходим парадигмальный сдвиг от подгонки под данные для изучения предпочтений пользователя к изучению самого процесса адаптации предпочтений. Чтобы реализовать это, мы предлагаем Мета-Моделирование Вознаграждения (Meta Reward Modeling, MRM), которое переформулирует задачу персонализированного моделирования вознаграждения как проблему мета-обучения. В частности, мы представляем модель вознаграждения каждого пользователя как взвешенную комбинацию базовых функций вознаграждения и оптимизируем инициализацию этих весов с помощью фреймворка в стиле MAML (Model-Agnostic Meta-Learning) для обеспечения быстрой адаптации при ограниченной обратной связи. Для обеспечения устойчивости мы вводим Целевую Функцию Робастной Персонализации (Robust Personalization Objective, RPO), которая уделяет больше внимания пользователям, чьи предпочтения сложнее изучить, в процессе мета-оптимизации. Многочисленные эксперименты на наборах данных персонализированных предпочтений подтверждают, что MRM улучшает персонализацию в условиях ограниченного количества данных, повышает устойчивость к особенностям пользователей и последовательно превосходит базовые методы.

English

Alignment of Large Language Models (LLMs) aims to align outputs with human preferences, and personalized alignment further adapts models to individual users. This relies on personalized reward models that capture user-specific preferences and automatically provide individualized feedback. However, developing these models faces two critical challenges: the scarcity of feedback from individual users and the need for efficient adaptation to unseen users. We argue that addressing these constraints requires a paradigm shift from fitting data to learn user preferences to learn the process of preference adaptation. To realize this, we propose Meta Reward Modeling (MRM), which reformulates personalized reward modeling as a meta-learning problem. Specifically, we represent each user's reward model as a weighted combination of base reward functions, and optimize the initialization of these weights using a Model-Agnostic Meta-Learning (MAML)-style framework to support fast adaptation under limited feedback. To ensure robustness, we introduce the Robust Personalization Objective (RPO), which places greater emphasis on hard-to-learn users during meta optimization. Extensive experiments on personalized preference datasets validate that MRM enhances few-shot personalization, improves user robustness, and consistently outperforms baselines.