Maximierung der Ausrichtung mit minimalem Feedback: Effizientes Erlernen von Belohnungen für die Ausrichtung von Visuomotor-Roboterpolitik

Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment

December 6, 2024

Autoren: Ran Tian, Yilin Wu, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy

cs.AI

Zusammenfassung

Visuomotor-Roboter-Policies, die zunehmend auf groß angelegten Datensätzen vorab trainiert werden, versprechen bedeutende Fortschritte in verschiedenen Robotikbereichen. Die Ausrichtung dieser Policies auf die Präferenzen der Endbenutzer bleibt jedoch eine Herausforderung, insbesondere wenn die Präferenzen schwer zu spezifizieren sind. Während das Lernen durch Verstärkung aus menschlichem Feedback (RLHF) zum vorherrschenden Mechanismus zur Ausrichtung in nicht verkörperten Bereichen wie großen Sprachmodellen geworden ist, hat es nicht den gleichen Erfolg bei der Ausrichtung von visuomotorischen Policies gesehen, aufgrund der prohibitiven Menge an menschlichem Feedback, die erforderlich ist, um visuelle Belohnungsfunktionen zu erlernen. Um diese Einschränkung zu bewältigen, schlagen wir Representation-Aligned Preference-based Learning (RAPL) vor, eine Methode, die ausschließlich auf Beobachtungen basiert, um visuelle Belohnungen aus wesentlich weniger menschlichem Präferenzfeedback zu lernen. Im Gegensatz zum traditionellen RLHF konzentriert sich RAPL darauf, das menschliche Feedback auf die Feinabstimmung vorab trainierter Vision-Encoder auszurichten, um sie mit der visuellen Repräsentation des Endbenutzers in Einklang zu bringen, und konstruiert dann eine dichte visuelle Belohnung durch Feature-Matching in diesem ausgerichteten Repräsentationsraum. Wir validieren RAPL zunächst durch Simulationsexperimente im X-Magical-Benchmark und der Franka Panda-Roboter-Manipulation und zeigen, dass es Belohnungen lernen kann, die mit menschlichen Präferenzen in Einklang stehen, effizienter Präferenzdaten verwendet und über Roboter-Verkörperungen hinweg generalisiert. Schließlich führen wir Hardware-Experimente durch, um vorab trainierte Diffusion Policies für drei Objektmanipulationsaufgaben auszurichten. Wir stellen fest, dass RAPL diese Policies mit 5-mal weniger echten menschlichen Präferenzdaten feinabstimmen kann und somit den ersten Schritt zur Minimierung des menschlichen Feedbacks und zur Maximierung der Ausrichtung von visuomotorischen Roboter-Policies darstellt.

English

Visuomotor robot policies, increasingly pre-trained on large-scale datasets, promise significant advancements across robotics domains. However, aligning these policies with end-user preferences remains a challenge, particularly when the preferences are hard to specify. While reinforcement learning from human feedback (RLHF) has become the predominant mechanism for alignment in non-embodied domains like large language models, it has not seen the same success in aligning visuomotor policies due to the prohibitive amount of human feedback required to learn visual reward functions. To address this limitation, we propose Representation-Aligned Preference-based Learning (RAPL), an observation-only method for learning visual rewards from significantly less human preference feedback. Unlike traditional RLHF, RAPL focuses human feedback on fine-tuning pre-trained vision encoders to align with the end-user's visual representation and then constructs a dense visual reward via feature matching in this aligned representation space. We first validate RAPL through simulation experiments in the X-Magical benchmark and Franka Panda robotic manipulation, demonstrating that it can learn rewards aligned with human preferences, more efficiently uses preference data, and generalizes across robot embodiments. Finally, our hardware experiments align pre-trained Diffusion Policies for three object manipulation tasks. We find that RAPL can fine-tune these policies with 5x less real human preference data, taking the first step towards minimizing human feedback while maximizing visuomotor robot policy alignment.