Эра реального человеческого взаимодействия: обучение с подкреплением на основе пользовательских диалогов

The Era of Real-World Human Interaction: RL from User Conversations

September 29, 2025

Авторы: Chuanyang Jin, Jing Xu, Bo Liu, Leitian Tao, Olga Golovneva, Tianmin Shu, Wenting Zhao, Xian Li, Jason Weston

cs.AI

Аннотация

Мы предполагаем, что для достижения непрерывного улучшения моделей и многоаспектного согласования будущие модели должны обучаться на основе естественного взаимодействия с людьми. Современные диалоговые модели согласуются с использованием предварительно аннотированных отзывов, сгенерированных экспертами. В данной работе мы представляем метод Обучения с Подкреплением на основе Человеческого Взаимодействия (Reinforcement Learning from Human Interaction, RLHI), который обучается непосредственно на диалогах с пользователями в реальных условиях. Мы разработали два взаимодополняющих подхода: (1) RLHI с Пересмотром на основе Пользовательских Указаний, который корректирует неудовлетворительные ответы модели на основе естественно-языковых реакций пользователей, и (2) RLHI с Вознаграждением на основе Пользовательских Данных, который обучается через модель вознаграждения, учитывающую долгосрочную историю взаимодействия пользователя (так называемую персону). Вместе эти методы связывают долгосрочные персоны пользователей с предпочтениями на уровне отдельных реплик через оптимизацию предпочтений, обусловленных персоной. Обучаясь на диалогах из WildChat, оба варианта RLHI превосходят сильные базовые модели в персонализации и следовании инструкциям, а аналогичные отзывы улучшают результаты на тестах на логическое мышление. Эти результаты свидетельствуют о том, что органическое взаимодействие с людьми предоставляет масштабируемый и эффективный способ контроля для персонализированного согласования.

English

We posit that to achieve continual model improvement and multifaceted alignment, future models must learn from natural human interaction. Current conversational models are aligned using pre-annotated, expert-generated human feedback. In this work, we introduce Reinforcement Learning from Human Interaction (RLHI), a paradigm that learns directly from in-the-wild user conversations. We develop two complementary methods: (1) RLHI with User-Guided Rewrites, which revises unsatisfactory model outputs based on users' natural-language follow-up responses, (2) RLHI with User-Based Rewards, which learns via a reward model conditioned on knowledge of the user's long-term interaction history (termed persona). Together, these methods link long-term user personas to turn-level preferences via persona-conditioned preference optimization. Trained on conversations derived from WildChat, both RLHI variants outperform strong baselines in personalization and instruction-following, and similar feedback enhances performance on reasoning benchmarks. These results suggest organic human interaction offers scalable, effective supervision for personalized alignment.