Максимизация выравнивания с минимальной обратной связью: эффективное обучение вознаграждений для выравнивания политики визуомоторного робота.

Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment

December 6, 2024

Авторы: Ran Tian, Yilin Wu, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy

cs.AI

Аннотация

Политики визуомоторных роботов, все чаще предварительно обученные на масштабных наборах данных, обещают значительные прорывы в различных областях робототехники. Однако выравнивание этих политик с предпочтениями конечного пользователя остается вызовом, особенно когда эти предпочтения сложно специфицировать. В то время как обучение с подкреплением на основе обратной связи от человека (RLHF) стало преобладающим механизмом для выравнивания в не-воплощенных областях, таких как большие языковые модели, оно не достигло такого же успеха в выравнивании визуомоторных политик из-за огромного количества необходимой обратной связи для изучения визуальных функций вознаграждения. Для преодоления этого ограничения мы предлагаем метод обучения на основе предпочтений, выровненных по представлению (RAPL), метод, использующий только наблюдения для изучения визуальных вознаграждений с помощью значительно меньшего количества обратной связи от человека. В отличие от традиционного RLHF, RAPL сосредотачивает обратную связь от человека на точной настройке предварительно обученных кодировщиков зрения для выравнивания с визуальным представлением конечного пользователя, а затем создает плотное визуальное вознаграждение путем сопоставления признаков в этом выровненном пространстве представления. Сначала мы проверяем RAPL через симуляционные эксперименты в бенчмарке X-Magical и робототехнике по манипулированию роботом Franka Panda, демонстрируя, что он может изучать вознаграждения, выровненные с предпочтениями человека, более эффективно использовать данные о предпочтениях и обобщать на различные воплощения роботов. Наконец, наши аппаратные эксперименты выравнивают предварительно обученные Политики Диффузии для трех задач манипулирования объектами. Мы обнаруживаем, что RAPL может точно настраивать эти политики с 5 раз меньшим количеством реальных данных обратной связи от человека, делая первый шаг к минимизации обратной связи от человека при максимизации выравнивания политики визуомоторных роботов.

English

Visuomotor robot policies, increasingly pre-trained on large-scale datasets, promise significant advancements across robotics domains. However, aligning these policies with end-user preferences remains a challenge, particularly when the preferences are hard to specify. While reinforcement learning from human feedback (RLHF) has become the predominant mechanism for alignment in non-embodied domains like large language models, it has not seen the same success in aligning visuomotor policies due to the prohibitive amount of human feedback required to learn visual reward functions. To address this limitation, we propose Representation-Aligned Preference-based Learning (RAPL), an observation-only method for learning visual rewards from significantly less human preference feedback. Unlike traditional RLHF, RAPL focuses human feedback on fine-tuning pre-trained vision encoders to align with the end-user's visual representation and then constructs a dense visual reward via feature matching in this aligned representation space. We first validate RAPL through simulation experiments in the X-Magical benchmark and Franka Panda robotic manipulation, demonstrating that it can learn rewards aligned with human preferences, more efficiently uses preference data, and generalizes across robot embodiments. Finally, our hardware experiments align pre-trained Diffusion Policies for three object manipulation tasks. We find that RAPL can fine-tune these policies with 5x less real human preference data, taking the first step towards minimizing human feedback while maximizing visuomotor robot policy alignment.