L'Era dell'Interazione Umana nel Mondo Reale: Apprendimento per Rinforzo dalle Conversazioni con gli Utenti

The Era of Real-World Human Interaction: RL from User Conversations

September 29, 2025

Autori: Chuanyang Jin, Jing Xu, Bo Liu, Leitian Tao, Olga Golovneva, Tianmin Shu, Wenting Zhao, Xian Li, Jason Weston

cs.AI

Abstract

Proponiamo che, per ottenere un miglioramento continuo del modello e un allineamento multifaccettato, i modelli futuri debbano apprendere dall'interazione naturale con gli esseri umani. I modelli conversazionali attuali vengono allineati utilizzando feedback umano pre-annotato e generato da esperti. In questo lavoro, introduciamo il Reinforcement Learning from Human Interaction (RLHI), un paradigma che apprende direttamente dalle conversazioni degli utenti in contesti reali. Sviluppiamo due metodi complementari: (1) RLHI con riscritture guidate dall'utente, che rivede gli output insoddisfacenti del modello basandosi sulle risposte di follow-up in linguaggio naturale degli utenti, (2) RLHI con ricompense basate sull'utente, che apprende tramite un modello di ricompensa condizionato alla conoscenza della cronologia di interazione a lungo termine dell'utente (denominata persona). Insieme, questi metodi collegano le persone a lungo termine alle preferenze a livello di turno attraverso l'ottimizzazione delle preferenze condizionata alla persona. Addestrati su conversazioni derivate da WildChat, entrambe le varianti di RLHI superano i forti baseline nella personalizzazione e nel seguire le istruzioni, e un feedback simile migliora le prestazioni sui benchmark di ragionamento. Questi risultati suggeriscono che l'interazione umana organica offre una supervisione scalabile ed efficace per l'allineamento personalizzato.

English

We posit that to achieve continual model improvement and multifaceted alignment, future models must learn from natural human interaction. Current conversational models are aligned using pre-annotated, expert-generated human feedback. In this work, we introduce Reinforcement Learning from Human Interaction (RLHI), a paradigm that learns directly from in-the-wild user conversations. We develop two complementary methods: (1) RLHI with User-Guided Rewrites, which revises unsatisfactory model outputs based on users' natural-language follow-up responses, (2) RLHI with User-Based Rewards, which learns via a reward model conditioned on knowledge of the user's long-term interaction history (termed persona). Together, these methods link long-term user personas to turn-level preferences via persona-conditioned preference optimization. Trained on conversations derived from WildChat, both RLHI variants outperform strong baselines in personalization and instruction-following, and similar feedback enhances performance on reasoning benchmarks. These results suggest organic human interaction offers scalable, effective supervision for personalized alignment.