Einer passt sich allen an: Meta-Belohnungsmodellierung für personalisierte LLM-Abgleichung
One Adapts to Any: Meta Reward Modeling for Personalized LLM Alignment
January 26, 2026
papers.authors: Hongru Cai, Yongqi Li, Tiezheng Yu, Fengbin Zhu, Wenjie Wang, Fuli Feng, Wenjie Li
cs.AI
papers.abstract
Die Ausrichtung großer Sprachmodelle (LLMs) zielt darauf ab, deren Ausgaben an menschliche Präferenzen anzupassen, während die personalisierte Ausrichtung Modelle weiter an individuelle Nutzer anpasst. Dies stützt sich auf personalisierte Belohnungsmodelle, die nutzerspezifische Präferenzen erfassen und automatisiert individuelles Feedback liefern. Die Entwicklung solcher Modelle sieht sich jedoch zwei kritischen Herausforderungen gegenüber: der Knappheit von Feedback einzelner Nutzer und der Notwendigkeit einer effizienten Anpassung an unbekannte Nutzer. Wir vertreten die Auffassung, dass die Bewältigung dieser Einschränkungen einen Paradigmenwechsel erfordert – weg von der Anpassung an Daten zur Erfassung von Nutzerpräferenzen hin zum Erlernen des Prozesses der Präferenzanpassung. Um dies zu realisieren, schlagen wir Meta Reward Modeling (MRM) vor, das personalisierte Belohnungsmodellierung als Meta-Lernproblem reformuliert. Konkret repräsentieren wir das Belohnungsmodell jedes Nutzers als gewichtete Kombination von Basis-Belohnungsfunktionen und optimieren die Initialisierung dieser Gewichte mittels eines Model-Agnostic Meta-Learning (MAML)-artigen Frameworks, um eine schnelle Anpassung bei begrenztem Feedback zu ermöglichen. Um Robustheit zu gewährleisten, führen wir das Robust Personalization Objective (RPO) ein, das während der Meta-Optimierung stärker schwer zu lernende Nutzer betont. Umfangreiche Experimente mit personalisierten Präferenzdatensätzen bestätigen, dass MRM die Few-Shot-Personalisierung verbessert, die Nutzerrobustheit erhöht und Baseline-Methoden konsistent übertrifft.
English
Alignment of Large Language Models (LLMs) aims to align outputs with human preferences, and personalized alignment further adapts models to individual users. This relies on personalized reward models that capture user-specific preferences and automatically provide individualized feedback. However, developing these models faces two critical challenges: the scarcity of feedback from individual users and the need for efficient adaptation to unseen users. We argue that addressing these constraints requires a paradigm shift from fitting data to learn user preferences to learn the process of preference adaptation. To realize this, we propose Meta Reward Modeling (MRM), which reformulates personalized reward modeling as a meta-learning problem. Specifically, we represent each user's reward model as a weighted combination of base reward functions, and optimize the initialization of these weights using a Model-Agnostic Meta-Learning (MAML)-style framework to support fast adaptation under limited feedback. To ensure robustness, we introduce the Robust Personalization Objective (RPO), which places greater emphasis on hard-to-learn users during meta optimization. Extensive experiments on personalized preference datasets validate that MRM enhances few-shot personalization, improves user robustness, and consistently outperforms baselines.