A Era da Interação Humana no Mundo Real: Aprendizado por Reforço a partir de Conversas com Usuários

The Era of Real-World Human Interaction: RL from User Conversations

September 29, 2025

Autores: Chuanyang Jin, Jing Xu, Bo Liu, Leitian Tao, Olga Golovneva, Tianmin Shu, Wenting Zhao, Xian Li, Jason Weston

cs.AI

Resumo

Postulamos que, para alcançar uma melhoria contínua do modelo e um alinhamento multifacetado, os modelos futuros devem aprender a partir da interação humana natural. Os modelos conversacionais atuais são alinhados utilizando feedback humano pré-anotado e gerado por especialistas. Neste trabalho, introduzimos o Aprendizado por Reforço a partir da Interação Humana (RLHI, na sigla em inglês), um paradigma que aprende diretamente de conversas de usuários em ambientes reais. Desenvolvemos dois métodos complementares: (1) RLHI com Reescrevimentos Guiados pelo Usuário, que revisa saídas insatisfatórias do modelo com base nas respostas subsequentes em linguagem natural dos usuários, e (2) RLHI com Recompensas Baseadas no Usuário, que aprende por meio de um modelo de recompensa condicionado ao conhecimento do histórico de interações de longo prazo do usuário (denominado persona). Juntos, esses métodos conectam personas de usuários de longo prazo a preferências em nível de turno por meio da otimização de preferências condicionadas à persona. Treinados em conversas derivadas do WildChat, ambas as variantes do RLHI superam linhas de base robustas em personalização e seguimento de instruções, e feedbacks semelhantes melhoram o desempenho em benchmarks de raciocínio. Esses resultados sugerem que a interação humana orgânica oferece uma supervisão escalável e eficaz para o alinhamento personalizado.

English

We posit that to achieve continual model improvement and multifaceted alignment, future models must learn from natural human interaction. Current conversational models are aligned using pre-annotated, expert-generated human feedback. In this work, we introduce Reinforcement Learning from Human Interaction (RLHI), a paradigm that learns directly from in-the-wild user conversations. We develop two complementary methods: (1) RLHI with User-Guided Rewrites, which revises unsatisfactory model outputs based on users' natural-language follow-up responses, (2) RLHI with User-Based Rewards, which learns via a reward model conditioned on knowledge of the user's long-term interaction history (termed persona). Together, these methods link long-term user personas to turn-level preferences via persona-conditioned preference optimization. Trained on conversations derived from WildChat, both RLHI variants outperform strong baselines in personalization and instruction-following, and similar feedback enhances performance on reasoning benchmarks. These results suggest organic human interaction offers scalable, effective supervision for personalized alignment.