Maximizando o Alinhamento com Feedback Mínimo: Aprendizado Eficiente de Recompensas para Alinhamento de Política de Robô Visumotor.

Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment

December 6, 2024

Autores: Ran Tian, Yilin Wu, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy

cs.AI

Resumo

As políticas de robôs visuomotores, cada vez mais pré-treinadas em conjuntos de dados em larga escala, prometem avanços significativos em diversos domínios da robótica. No entanto, alinhar essas políticas com as preferências dos usuários finais ainda é um desafio, especialmente quando as preferências são difíceis de especificar. Enquanto o aprendizado por reforço a partir do feedback humano (ARFH) se tornou o mecanismo predominante para o alinhamento em domínios não incorporados, como grandes modelos de linguagem, não obteve o mesmo sucesso no alinhamento de políticas visuomotoras devido à quantidade proibitiva de feedback humano necessária para aprender funções de recompensa visuais. Para lidar com essa limitação, propomos o Aprendizado Baseado em Preferências Alinhadas à Representação (RAPL), um método baseado apenas em observações para aprender recompensas visuais a partir de um feedback humano significativamente menor. Ao contrário do ARFH tradicional, o RAPL foca o feedback humano no ajuste fino de codificadores de visão pré-treinados para se alinharem com a representação visual do usuário final e então constrói uma recompensa visual densa por meio da correspondência de características nesse espaço de representação alinhado. Primeiramente, validamos o RAPL por meio de experimentos de simulação no benchmark X-Magical e na manipulação robótica Franka Panda, demonstrando que ele pode aprender recompensas alinhadas com as preferências humanas, usar de forma mais eficiente os dados de preferência e generalizar entre diferentes formas de robôs. Por fim, nossos experimentos de hardware alinham Políticas de Difusão pré-treinadas para três tarefas de manipulação de objetos. Descobrimos que o RAPL pode ajustar essas políticas com 5 vezes menos dados reais de preferência humana, dando o primeiro passo para minimizar o feedback humano ao mesmo tempo que maximiza o alinhamento das políticas de robôs visuomotores.

English

Visuomotor robot policies, increasingly pre-trained on large-scale datasets, promise significant advancements across robotics domains. However, aligning these policies with end-user preferences remains a challenge, particularly when the preferences are hard to specify. While reinforcement learning from human feedback (RLHF) has become the predominant mechanism for alignment in non-embodied domains like large language models, it has not seen the same success in aligning visuomotor policies due to the prohibitive amount of human feedback required to learn visual reward functions. To address this limitation, we propose Representation-Aligned Preference-based Learning (RAPL), an observation-only method for learning visual rewards from significantly less human preference feedback. Unlike traditional RLHF, RAPL focuses human feedback on fine-tuning pre-trained vision encoders to align with the end-user's visual representation and then constructs a dense visual reward via feature matching in this aligned representation space. We first validate RAPL through simulation experiments in the X-Magical benchmark and Franka Panda robotic manipulation, demonstrating that it can learn rewards aligned with human preferences, more efficiently uses preference data, and generalizes across robot embodiments. Finally, our hardware experiments align pre-trained Diffusion Policies for three object manipulation tasks. We find that RAPL can fine-tune these policies with 5x less real human preference data, taking the first step towards minimizing human feedback while maximizing visuomotor robot policy alignment.