Maximizando la Alineación con un Mínimo de Retroalimentación: Aprendizaje Eficiente de Recompensas para la Alineación de Políticas de Robots Visuomotores.

Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment

December 6, 2024

Autores: Ran Tian, Yilin Wu, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy

cs.AI

Resumen

Las políticas de robots visuomotores, cada vez más pre-entrenadas en conjuntos de datos a gran escala, prometen avances significativos en diversos dominios de la robótica. Sin embargo, alinear estas políticas con las preferencias de los usuarios finales sigue siendo un desafío, especialmente cuando las preferencias son difíciles de especificar. Aunque el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF, por sus siglas en inglés) se ha convertido en el mecanismo predominante para la alineación en dominios no incorporados como los modelos de lenguaje a gran escala, no ha tenido el mismo éxito en la alineación de políticas visuomotoras debido a la cantidad prohibitiva de retroalimentación humana necesaria para aprender funciones de recompensa visuales. Para abordar esta limitación, proponemos Aprendizaje basado en Preferencias Alineadas con la Representación (RAPL, por sus siglas en inglés), un método basado únicamente en la observación para aprender recompensas visuales a partir de una cantidad significativamente menor de retroalimentación de preferencias humanas. A diferencia del RLHF tradicional, RAPL enfoca la retroalimentación humana en el ajuste fino de los codificadores de visión pre-entrenados para alinearse con la representación visual del usuario final y luego construye una recompensa visual densa mediante el emparejamiento de características en este espacio de representación alineado. Primero validamos RAPL a través de experimentos de simulación en el banco de pruebas X-Magical y en la manipulación robótica de Franka Panda, demostrando que puede aprender recompensas alineadas con las preferencias humanas, utilizar de manera más eficiente los datos de preferencia y generalizar a través de las encarnaciones de robots. Finalmente, nuestros experimentos de hardware alinean Políticas de Difusión pre-entrenadas para tres tareas de manipulación de objetos. Descubrimos que RAPL puede ajustar finamente estas políticas con un 5 veces menos de datos reales de preferencia humana, dando el primer paso hacia la minimización de la retroalimentación humana al mismo tiempo que se maximiza la alineación de las políticas de robots visuomotores.

English

Visuomotor robot policies, increasingly pre-trained on large-scale datasets, promise significant advancements across robotics domains. However, aligning these policies with end-user preferences remains a challenge, particularly when the preferences are hard to specify. While reinforcement learning from human feedback (RLHF) has become the predominant mechanism for alignment in non-embodied domains like large language models, it has not seen the same success in aligning visuomotor policies due to the prohibitive amount of human feedback required to learn visual reward functions. To address this limitation, we propose Representation-Aligned Preference-based Learning (RAPL), an observation-only method for learning visual rewards from significantly less human preference feedback. Unlike traditional RLHF, RAPL focuses human feedback on fine-tuning pre-trained vision encoders to align with the end-user's visual representation and then constructs a dense visual reward via feature matching in this aligned representation space. We first validate RAPL through simulation experiments in the X-Magical benchmark and Franka Panda robotic manipulation, demonstrating that it can learn rewards aligned with human preferences, more efficiently uses preference data, and generalizes across robot embodiments. Finally, our hardware experiments align pre-trained Diffusion Policies for three object manipulation tasks. We find that RAPL can fine-tune these policies with 5x less real human preference data, taking the first step towards minimizing human feedback while maximizing visuomotor robot policy alignment.